ITeye博客

wangwei3的博客

wangwei3 · 共 67 篇文章

KFS 正式部署的时候遇到的问题

一,大硬盘挂载 1 查看所有的磁盘 sudo fdisk -l |more 2 设置磁盘 sudo fdisk /dev/sdb -compatible mode is deprecated. It's strongly recommended to switch off the mode (command 'c') and change display units to sectors (command 'u') WARNING : DOS Command (m for help):c <enter> DOS Compatibility flag is not set (不兼容DOS的模式…

2011-05-05 11:36 · 存储云 · 评论(0)

Ubuntu文件系统

一、Ubuntu文件系统的主要目录 |目录|英文全名|用途| |/|/|整个目录结构的起始点,所有其他文件和目录都在它下面| |/bin|Binaries|用来存放最常用的二进制命令| |/boot|Boot|包含引导Linux的重要文件,如grub和内核文件等| |/dev|Devices|所有设备都在该目录下,包括硬盘和显示器等| |/etc|etc|系统所有配置文件都放在它下面| |/home|Home|存放各个用户的home目录($HOME)及其文件和配置| |/lib|Libraries|系统的库文件,有点像Windows的Program Files| |/lost+found|l…

2011-04-22 17:03 · linux · 评论(0)

代码整合链接KFS

客户端代码 通过应用程序使用API,有两个例子在以下包中。 ~/code/kfs/examples/KfsTest_main.cc ~/code/kfs/examples/KfsTest.java Each program shows how to use the client-side API. The KFS client library API is defined in: C++: ~/code/kfs/src/cc/libkfsClient/KfsClient.h Java: ~/code/kfs/src/java/org/kosmix/kosmosfs/access/KfsAcc…

2011-02-23 12:58 · 评论(0)

KFS部署配置说明及管理

原创文章转载请注明出处:http://wangwei3.iteye.com/blog/916476 基本机器配置 此配置在 scripts/machines.cfg 为服务定义的三个变量: node: 这个变量指定NODE应该在那个服务上被实例化运行 rundir: 这个变量指定NODE的binaries被实例化的目录。当多个服务运行在同一个NODE时,每个服务的这个变量必须是唯一值。 baseport: 在一个NODE,这个变量是为监听传入连接定义的唯一端口。在KFS中,进程间的通信---在meta中 server/chunkserver(s)/applications---是通过TCP …

2011-02-22 16:50 · 存储云 · 评论(0)

Hypertable 的安装与整合KFS

原创文章:转载请注明出处 http://wangwei3.iteye.com/admin/blogs/909096 安装Hypertable 下载安装包(http://www.hypertable.com/download/) hypertable-0.9.4.3-linux-i386.deb 55MB Debian, Complete hypertable-0.9.4.3-linux-i386.rpm 59MB Redhat, Complete hypertable-0.9.4.3-linux-i386.tar.bz2 53MB bzip2 "tar" archive, Complete …

2011-02-17 17:01 · 存储云 · 评论(0)

KFS部署与应用

原创文章:转载请注明出处http://wangwei3.iteye.com/blog/905856 安装软件 一、安装依赖软件 1、安装log4cpp tar xvzf log4cpp-1.0.tar.gz cd log4cpp-1.0 ./configure make make install 2、安装xfs tar xvzf xfsprogs-3.0.1.tar.gz cd xfsprogs-3.0.1 ./configure make make install make install-dev 3、安装cmake tar xvzf cmake-2.6.4.tar.gz cd cmake…

2011-02-14 14:09 · 存储云 · 评论(0)

htmlparser抽取表格

原创文章:转载请注明出处 try { Parser parser=new Parser("http://detail.zol.com.cn/260/259165/param.shtml"); // NodeFilter nodeFilter=new HasAttributeFilter("",""); HtmlPage htmlPage=new HtmlPage(parser); parser.visitAllNodesWith(htmlPage); TableTag tableTags[] =htmlPage.getTables(); for(TableTag tableTag:table…

2011-01-25 16:34 · 网络/网页 · 评论(0)

hadoop第二步:将hadoop的HDFS替换成KFS

原创文章:转载请注明出处http://wangwei3.iteye.com/blog/895867 最近需要把hadoop的HDFS替换成KFS。 其实具体性能的差异我还没有测试过。不过理论上说,C+写的KFS应该在性能上比HDFS更胜一筹。 关于底层的FS的支持。hadoop的扩展性着实不错。KFS便是其中一种 那么如何配置呢? 首先KFS必须先部署起来(具体过程不讲解了)。测试OK后 我们继续hadoop 一。修改core-site.xml,添加以下语句: <property> <name>fs.kfs.impl</name> <value>org.apache.hadoop.fs.kf…

2011-01-25 16:26 · hadoop · 存储云 · 评论(2)

Hadoop第一步:部署分布式服务

原创文章:转载请注明出处 最近有幸开始接触云。哈哈,先从hadoop入手 部署hadoop的文档很多,但是还是遇到了不少问题,下面和大家分享一下我的部署全过程吧 版本号:hadoop 0.21.0 下载地址:<http://www.apache.org/dyn/closer.cgi/hadoop/core/ > 系统环境:红帽linux 1.硬件配置 准备3-4台机器,为他们配置上IP,保证相互可以ping通 至少有3台作为NameNode因为hadoop默认作为备份的机器数量为3 NameNode也可以作为DataNode hadoop1:192.168.1.144(NameNode) h…

2011-01-17 13:44 · hadoop · 存储云 · 评论(0)

Ubuntu下固定ip的网卡配置

来源:linux公社 Ubuntu下固定ip的网卡配置准备工作要先了解下vi命令,随便google下就能了解: 1。单网卡配单IP(普遍) vi /etc/network/interface auto eth0 iface eth0 inet static address IP netmask 子网掩码 gateway 网关 2.单网卡双IP (情况较少,多用于区分服务或者安全隐藏) vi /etc/network/interface auto eth0:0 iface eth0:0 inet static address IP netmask 子网掩码 gateway 网关 auto et…

2011-01-12 20:25 · linux · 评论(0)

linux压缩和解压缩

首先到你需要压缩/解压的目录下 cd /home/.. 用ls命令查看此目录下的所有文件 解压 比如我要解压test.tar.gz文件 用 gzip -d test.tar.gz命令 这样test.tar.gz 就会变为 test.tar 然后用tar xvf test.tar这个命令就可以解压成功了 压缩 首先建立tar文件 tar cvf test.tar test.tar名字是自己取的

2010-12-30 14:04 · linux · 评论(0)

Linux第一步配置静态MAC和自动获取

修改MAC地址的语句 ifconfig eth0 down ifconfig eth0 hw ether MAC(例如:00:04:a2:d2:e2:12) ifconfig eth0 up 注意:MAC是16进制的 还有修改完后重启系统后。MAC又变回原来的地址。所以呢需要静态配置 在在/etc/rc.d/rc.local中加入以下三行(也可在/etc/init.d/network中添加以上三行) 就OK了 嗯,如何自动获取IP呢? 试试以下两句吧~~~~ ifconfig eth0 up dhclient 如果需要静态的话同样在/etc/rc.d/rc.local中加入以上两行 然后就可…

2010-12-30 10:29 · linux · 评论(0)

HTTP header

有四种头标: 1. 通用头标 既可用于请求有可用于响应,并且是作为一个整体而不是特定资源 与事务相关联。 2. 请求头标 允许客户端传递关于自身信息和希望的响应形式。 3. 响应头标 服务器用于传递自身信息和响应。 4. 实体头标 定义被传送资源的信息。既可用于请求,也可用于响应 头标以如下的单行形式发送。 : 其中 name是头标名,大小写敏感 value是头标值; crlf是回车换行符 JSP页面可以使用request.getHeader()方法读取特定的头标值。也可以使用response.setHeader方法设置头标值。 以下是HTTP/1.1中用到的头标: |头标| 描述| |Co…

2010-12-22 15:47 · 网络/网页 · 评论(0)

MySQL函数

一、 控制流程函数 a) CASE WHEN THEN 函数 语法: CASE value WHEN THEN result THEN result ……] END CASE WHEN THEN result THEN result ……] END ; 函数用法说明:在第一个方案的返回结果中, value =compare-value 。而第二个方案的返回结果是第一种情况的真实结果。如果没有匹配的结果值,则返回结果为 ELSE 后的结果,如果没有 ELSE 部分,则返回值为 NULL b) IF 函数用法 语法: IF(expr1,expr2,expr3) 函数用法说明:如果 expr1 是…

2010-11-30 16:18 · sql · 评论(0)

如何读取gzip压缩网页

最近在抓取搜狐的时候发现下载下来的页面都是乱码,开始以为是解码出了问题可是查找半天无果,很是郁闷。返回的状态码是200,怎么都是乱码呢?难道是页面做了加密? 其实这是搜狐为了加快网页加载速度对页面做了压缩。哎,我out了~~~~ 下面来解决这个问题吧~~~ 1.如何判断页面是否是压缩的 URLConnection hc = null; hc.getHeaderField("Content-Encoding") 如果得到的是 gzip则说明页面做了压缩 2.对页面压缩/解压的方法 /** * @param source * 源文件 * @param target * 目标文件 */ publi…

2010-11-30 10:26 · 网络/网页 · 评论(1)