原创文章:转载请注明出处http://wangwei3.iteye.com/blog/895867
最近需要把hadoop的HDFS替换成KFS。
其实具体性能的差异我还没有测试过。不过理论上说,C+写的KFS应该在性能上比HDFS更胜一筹。
关于底层的FS的支持。hadoop的扩展性着实不错。KFS便是其中一种
那么如何配置呢?
首先KFS必须先部署起来(具体过程不讲解了)。测试OK后
我们继续hadoop
一。修改core-site.xml,添加以下语句:
<property>
<name>fs.kfs.impl</name>
<value>org.apache.hadoop.fs.kfs.KosmosFileSystem</value>
<description>The FileSystem for kfs: uris.</description>
</property>
<property>
<name>fs.default.name</name>
<value>kfs://<server:port></value>
</property>
<property>
<name>fs.kfs.metaServerHost</name>
<value><server></value>
<description>The location of the KFS meta server.</description>
</property>
<property>
<name>fs.kfs.metaServerPort</name>
<value><port></value>
<description>The location of the meta server's port.</description>
</property>
<server:port>:填写KFS系统的服务 例如 :kfs://192.168.1.1:20000
<server>:填写KFS系统的IP 例如:192.168.1.1
<port>:填写KFS系统的端口 例如:20000
二。hadoop中已有kfs的jar包,但是可能KFS和hadoop的jar包版本不一样。所以一定要删除hadoop中的jar包,拷贝KFS的jar包到hadoop的lib中。文件名为:kfs-0.5.jar
三。修改hadoop-env.sh加入一段export LIBERARY_PATH=path
如果kfs和hadoop部署在同一台机器上,path就是KFS存放so包的那个文件路径。如果不在一台机器上则需要把kfs so 文件全都拷贝到hadoop那台机器上的任意路径
注意:so是分系统版本号的有64位和32位的千万表弄混了。否则就很杯具的。
但是按照以上的配置方法是无法正常启动的
一。我们还需要配置map/reducer
修改mapred-site.xml加入以下语句
<property>
<name>mapred.job.tracker</name>
<value>hdfs://192.168.1.1:9001</value>
</property>
二。需要把 libkfsClient.so和libkfs_access.so拷贝到hadoop中的/lib/native/linux-i386-32目录下
接下来就可以启动hadoop了
试着拷贝,或者新建个目录如果可以在kfs中查看到说明就OK了
原创文章:转载请注明出处http://wangwei3.iteye.com/blog/895867
分享到:
相关推荐
A.2实验二:熟悉常用的HDFS操作 本实验对应第4章的内容。 A.2.1 实验目的 (1)理解 HDFS在Hadoop体系结构中的角色。(2)熟练使用HDFS操作常用的 Shell命令。(3)熟悉HDFS操作常用的Java API。 A.2.2 实验平台 (1)操作...
赠送jar包:hadoop-hdfs-2.7.3.jar; 赠送原API文档:hadoop-hdfs-2.7.3-javadoc.jar; 赠送源代码:hadoop-hdfs-2.7.3-sources.jar; 赠送Maven依赖信息文件:hadoop-hdfs-2.7.3.pom; 包含翻译后的API文档:hadoop...
赠送jar包:hadoop-hdfs-2.6.5.jar; 赠送原API文档:hadoop-hdfs-2.6.5-javadoc.jar; 赠送源代码:hadoop-hdfs-2.6.5-sources.jar; 赠送Maven依赖信息文件:hadoop-hdfs-2.6.5.pom; 包含翻译后的API文档:hadoop...
数据科学导论 实验2:熟悉常用的HDFS操作 1. 编程实现以下指定功能,并利用 Hadoop 提供的 Shell 命令完成相同任务: 2. 编程实现一个类“MyFSDataInputStream”,该类继承“org.apache.hadoop.fs.FSDataInputStream...
赠送jar包:hadoop-hdfs-2.7.3.jar; 赠送原API文档:hadoop-hdfs-2.7.3-javadoc.jar; 赠送源代码:hadoop-hdfs-2.7.3-sources.jar; 赠送Maven依赖信息文件:hadoop-hdfs-2.7.3.pom; 包含翻译后的API文档:hadoop...
hdfs官方文档 Hadoop分布式文件系统:结构与设计.pdf
赠送jar包:hadoop-hdfs-client-2.9.1.jar; 赠送原API文档:hadoop-hdfs-client-2.9.1-javadoc.jar; 赠送源代码:hadoop-hdfs-client-2.9.1-sources.jar; 赠送Maven依赖信息文件:hadoop-hdfs-client-2.9.1.pom;...
Hadoop 技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理
Hadoop实战高手之路---从零开始”的第六讲Hadoop图文训练课程:使用HDFS命令行工具操作Hadoop分布式集群初体验
第03节:hadoop精讲之hdfs详解.rar
赠送jar包:hadoop-hdfs-client-2.9.1.jar 赠送原API文档:hadoop-hdfs-client-2.9.1-javadoc.jar 赠送源代码:hadoop-hdfs-client-2.9.1-sources.jar 包含翻译后的API文档:hadoop-hdfs-client-2.9.1-javadoc-...
The Hadoop HDFS has been explored in detail. You will know how it manages the data files across different nodes in the cluster. The author helps you familiarize yourself with the various commands ...
赠送jar包:hadoop-hdfs-2.6.5.jar; 赠送原API文档:hadoop-hdfs-2.6.5-javadoc.jar; 赠送源代码:hadoop-hdfs-2.6.5-sources.jar; 赠送Maven依赖信息文件:hadoop-hdfs-2.6.5.pom; 包含翻译后的API文档:hadoop...
Hadoop的核心基础 : Google三大论文 Hadoop的核心基础 : Google三大论文 Hadoop的核心基础 : Google三大论文
赠送jar包:hadoop-hdfs-2.5.1.jar; 赠送原API文档:hadoop-hdfs-2.5.1-javadoc.jar; 赠送源代码:hadoop-hdfs-2.5.1-sources.jar; 赠送Maven依赖信息文件:hadoop-hdfs-2.5.1.pom; 包含翻译后的API文档:hadoop...
赠送jar包:hadoop-hdfs-2.9.1.jar 赠送原API文档:hadoop-hdfs-2.9.1-javadoc.jar 赠送源代码:hadoop-hdfs-2.9.1-sources.jar 包含翻译后的API文档:hadoop-hdfs-2.9.1-javadoc-API文档-中文(简体)版.zip 对应...
Hadoop技术内幕:深入解析Hadoop Common 和HDFS 架构设计与实现原理 (大数据技术丛书) 原版书籍,非扫描版,使用kindle可以打开,也可以转换为epub使用ibooks打开
赠送jar包:hadoop-hdfs-2.5.1.jar; 赠送原API文档:hadoop-hdfs-2.5.1-javadoc.jar; 赠送源代码:hadoop-hdfs-2.5.1-sources.jar; 赠送Maven依赖信息文件:hadoop-hdfs-2.5.1.pom; 包含翻译后的API文档:hadoop...
hadoop(二:hadoop3.3.0搭建,HDFS shell 命令,MapReduce程序)
赠送jar包:hadoop-hdfs-2.9.1.jar; 赠送原API文档:hadoop-hdfs-2.9.1-javadoc.jar; 赠送源代码:hadoop-hdfs-2.9.1-sources.jar; 赠送Maven依赖信息文件:hadoop-hdfs-2.9.1.pom; 包含翻译后的API文档:hadoop...