2011 年文章归档
共 17 篇文章
RPC
来自百度百科 http://baike.baidu.com/view/32726.htm RPC(Remote Procedure Call Protocol)——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。 基本简介 RPC采用客户机/服务器模式。请求程序就是一个客户机,而服务提供程序就是一个服务器。首先,客户机调用进程发送一个有进程参数的调用信息到服务…
2011-11-18 17:54 · 网络/网页
正则匹配不包含某个字符且包含某个字符的字符串
(^(?=(.(?!iask))+$)(?=.*(\.html))) 此正则大致意思是:匹配不包含iask且包含html的字符串
2011-11-10 12:16 · 正则
初探map/reduce原理
下面的代码来自于hadoop官网,但是那个例子很繁琐,我对此作了简化 运行下面代码必须在linux系统上,并且已经成功部署安装hadoop package com.hadoop.test3; import java.io.IOException; import java.util.*; import org.apache.hadoop.fs.Path; import org.apache.hadoop.conf.*; import org.apache.hadoop.io.*; import org.apache.hadoop.mapred.*; import org.apache.hado…
java 线程个人总结
关于原子 嗯,为什么要加锁?相信有点基础的童鞋都很清楚。在多线程情况下调用方法主要会出现两类问题 --原子性和非原子性!那他们各自会在神马情况下出现捏? 举一个《thinking in java》第四版中的例子。有一个EvenGenerator类,它的next()方法用来生成偶数。如下: public class EvenGenerator { private int currentValue = 0; private boolean cancled = false; public int next() { ++currentValue; //危险! ++currentValue; retu…
2011-09-15 16:14 · Java综合
"Host 'localhost' is not allowed to connect to this MySQL server" 的原因及解决办法
今天在操作数据库的是否发现突然无法启动MYSQL服务,想了想原因是因为自己改动了my.ini文件导致的。所以大家千万不要随便改哦~ 解决无法启动mysql的问题很容易,在安装根目录下都会有my.ini文件的备份。我们可以根据以前的_bak文件直接恢复。 还有一个问题就是 "Host 'localhost' is not allowed to connect to this MySQL server" 重装MYSQL后,发现MYSQL数据库密码为空,则update了 user表里的root密码,重新连接,发现出现"Host 'localhost' is not allowed to conne…
2011-08-29 14:17 · sql
linux(ubuntu) 之间互挂磁盘 以及 linux挂载windows磁盘
原创文章,转载请注明出处 Linux(ubuntu) 之间挂载磁盘 1.两台机器都要安装nfs sudo apt-get install nfs-kernel-server 2.挂在命令 sudo mount -t nfs 192.168.1.220:/home/.../.../ /home/.../.../ 第一个/home是指被挂载的磁盘目录 第二个/home是指挂载在本机的磁盘目录 3.在192.168.1.220上开启共享 注意这里的220是指被挂载的机器 sudo nano /etc/exports /home/sjeirhvueor/autoimage/mimg00 192.16…
2011-08-04 17:31 · linux
抓取中应该考虑GB编码的问题
今天,测试的同学在测试我的爬虫的时候发现了一些‘?’的字符,也就是无法识别编码的字符。开始我很诧异,毕竟我用了自动编码识别的很成熟的架构,为虾米会有这种字符?仔细分析了一下页面,页面的编码是'gbk'而用我的程序识别出来是'gb2312'因为分析只采集了前面100个字符作为样本,所以识别出来的是'gb2312'。因为'gb2312'是属于'gbk',只包括一些常见汉字,如果万一有一个偏的汉字出现那就只能沦为现实为'?'号的下场了~ 所以想要做好抓取必须大致的了解编码: GB2312 GB 2312或GB 2312-80是一个简体中文字符集的中国国家标准,全称为《信息交换用汉字编码字符集·基本…
2011-06-30 13:52 · 网络/网页
KFS 正式部署的时候遇到的问题
一,大硬盘挂载 1 查看所有的磁盘 sudo fdisk -l |more 2 设置磁盘 sudo fdisk /dev/sdb -compatible mode is deprecated. It's strongly recommended to switch off the mode (command 'c') and change display units to sectors (command 'u') WARNING : DOS Command (m for help):c <enter> DOS Compatibility flag is not set (不兼容DOS的模式…
2011-05-05 11:36 · 存储云
Ubuntu文件系统
一、Ubuntu文件系统的主要目录 |目录|英文全名|用途| |/|/|整个目录结构的起始点,所有其他文件和目录都在它下面| |/bin|Binaries|用来存放最常用的二进制命令| |/boot|Boot|包含引导Linux的重要文件,如grub和内核文件等| |/dev|Devices|所有设备都在该目录下,包括硬盘和显示器等| |/etc|etc|系统所有配置文件都放在它下面| |/home|Home|存放各个用户的home目录($HOME)及其文件和配置| |/lib|Libraries|系统的库文件,有点像Windows的Program Files| |/lost+found|l…
2011-04-22 17:03 · linux
代码整合链接KFS
客户端代码 通过应用程序使用API,有两个例子在以下包中。 ~/code/kfs/examples/KfsTest_main.cc ~/code/kfs/examples/KfsTest.java Each program shows how to use the client-side API. The KFS client library API is defined in: C++: ~/code/kfs/src/cc/libkfsClient/KfsClient.h Java: ~/code/kfs/src/java/org/kosmix/kosmosfs/access/KfsAcc…
2011-02-23 12:58
KFS部署配置说明及管理
原创文章转载请注明出处:http://wangwei3.iteye.com/blog/916476 基本机器配置 此配置在 scripts/machines.cfg 为服务定义的三个变量: node: 这个变量指定NODE应该在那个服务上被实例化运行 rundir: 这个变量指定NODE的binaries被实例化的目录。当多个服务运行在同一个NODE时,每个服务的这个变量必须是唯一值。 baseport: 在一个NODE,这个变量是为监听传入连接定义的唯一端口。在KFS中,进程间的通信---在meta中 server/chunkserver(s)/applications---是通过TCP …
2011-02-22 16:50 · 存储云
Hypertable 的安装与整合KFS
原创文章:转载请注明出处 http://wangwei3.iteye.com/admin/blogs/909096 安装Hypertable 下载安装包(http://www.hypertable.com/download/) hypertable-0.9.4.3-linux-i386.deb 55MB Debian, Complete hypertable-0.9.4.3-linux-i386.rpm 59MB Redhat, Complete hypertable-0.9.4.3-linux-i386.tar.bz2 53MB bzip2 "tar" archive, Complete …
2011-02-17 17:01 · 存储云
KFS部署与应用
原创文章:转载请注明出处http://wangwei3.iteye.com/blog/905856 安装软件 一、安装依赖软件 1、安装log4cpp tar xvzf log4cpp-1.0.tar.gz cd log4cpp-1.0 ./configure make make install 2、安装xfs tar xvzf xfsprogs-3.0.1.tar.gz cd xfsprogs-3.0.1 ./configure make make install make install-dev 3、安装cmake tar xvzf cmake-2.6.4.tar.gz cd cmake…
2011-02-14 14:09 · 存储云
htmlparser抽取表格
原创文章:转载请注明出处 try { Parser parser=new Parser("http://detail.zol.com.cn/260/259165/param.shtml"); // NodeFilter nodeFilter=new HasAttributeFilter("",""); HtmlPage htmlPage=new HtmlPage(parser); parser.visitAllNodesWith(htmlPage); TableTag tableTags[] =htmlPage.getTables(); for(TableTag tableTag:table…
2011-01-25 16:34 · 网络/网页
hadoop第二步:将hadoop的HDFS替换成KFS
原创文章:转载请注明出处http://wangwei3.iteye.com/blog/895867 最近需要把hadoop的HDFS替换成KFS。 其实具体性能的差异我还没有测试过。不过理论上说,C+写的KFS应该在性能上比HDFS更胜一筹。 关于底层的FS的支持。hadoop的扩展性着实不错。KFS便是其中一种 那么如何配置呢? 首先KFS必须先部署起来(具体过程不讲解了)。测试OK后 我们继续hadoop 一。修改core-site.xml,添加以下语句: <property> <name>fs.kfs.impl</name> <value>org.apache.hadoop.fs.kf…
Hadoop第一步:部署分布式服务
原创文章:转载请注明出处 最近有幸开始接触云。哈哈,先从hadoop入手 部署hadoop的文档很多,但是还是遇到了不少问题,下面和大家分享一下我的部署全过程吧 版本号:hadoop 0.21.0 下载地址:<http://www.apache.org/dyn/closer.cgi/hadoop/core/ > 系统环境:红帽linux 1.硬件配置 准备3-4台机器,为他们配置上IP,保证相互可以ping通 至少有3台作为NameNode因为hadoop默认作为备份的机器数量为3 NameNode也可以作为DataNode hadoop1:192.168.1.144(NameNode) h…
Ubuntu下固定ip的网卡配置
来源:linux公社 Ubuntu下固定ip的网卡配置准备工作要先了解下vi命令,随便google下就能了解: 1。单网卡配单IP(普遍) vi /etc/network/interface auto eth0 iface eth0 inet static address IP netmask 子网掩码 gateway 网关 2.单网卡双IP (情况较少,多用于区分服务或者安全隐藏) vi /etc/network/interface auto eth0:0 iface eth0:0 inet static address IP netmask 子网掩码 gateway 网关 auto et…
2011-01-12 20:25 · linux