wangwei3的博客
wangwei3 · 共 67 篇文章
HDFS异常集合 - - 持续更新
AccessControlException eclipse 运行一些基本的对HDFS操作代码报没有权限的异常: org.apache.hadoop.security.AccessControlException: Permission denied: user=jhm, access=WRITE, inode="kfs":kfs:supergroup:rwxr-xr-x 解决方法: 一、修改配置文件 到服务器上修改hadoop的配置文件:conf/hdfs-site.xml, 找到 dfs.permissions 的配置项 , 将value值改为 false <property> <nam…
2013-03-28 11:48 · hadoop · 评论(0)
nutch 2.1 分布式hbase部署
官方文档:http://wiki.apache.org/nutch/Nutch2Tutorial?action=show&redirect=GORA_HBase 现在网上针对nutch 2.0 以上版本的部署内容很残缺。经过两天奋战,终于把nutch 2.1在hbase上部署成功了!在此与网友分享。 准备两台机器: cr5(master):192.168.8.185,cr8(slave):192.168.8.188 这两台机器必须保证相互的ssh是通的(具体可以问谷歌) 修改两台机器的/etc/hostname文件 cr5 或者 cr8 修改两台机器的/etc/hosts文件 192.168…
eclipse 部署lucene solr 4.1
首先普及一下基本常识,应该是从3.6开始吧,lucene和solr就已经同步发行了。 而solr是对lucene的扩展,所以solr源码包里面包含了lucene的源码。 那我们这次部署主要是针对solr的部署~ 网上针对4.0以上的版本,部署方案可谓是千奇百怪。但是仔细看看WIKI。其实部署步骤灰常简单。 废话不多说,开始部署~ 第一步: 官网下载solr 4.1 源码: http://labs.mop.com/apache-mirror/lucene/solr/4.1.0/solr-4.1.0-src.tgz 第二步: ant eclipse 第三步: 以 Exisiting Projec…
2013-01-31 11:23 · lucene · 评论(0)
JavaScript内核之基本概念
本章主要讲述JavaScript中的数据类型(基本类型与引用类型),变量(包括变量的作用域),操作符(主要是一些较为常见,但是不容易从字面上理解的操作符)。由于JavaScript中的“一切皆对象”,在掌握了这些基本的概念之后,读者就可以较为轻松的理解诸如作用域,调用对象,闭包,currying等等较难理解的概念了。 数据类型 有程序设计经验的读者肯定知道,在C或者Java这样的语言中,数据是有类型的,比如用以表示用户名的属性是字符串,而一个雇员的年龄则是一个数字,表示UI上的一个开关按钮的数据模型则为布尔值等等,对数字可能还可以细分为浮点数,整型数,整型数又可能分为长整型和短整型,总而言之…
2012-08-02 11:43 · JavaScript · 评论(0)
JavaScript入门之语言基础
了解JavaScript语言 JavaScript语言是一种免费的客户端脚本语言,其能够让你往超文本标记语言(Hypertext Markup Language,HTML)页面中加入交互行为。客户端(client-side)意味着JavaScript运行在浏览器中,而不是用在服务器端。在网页被服务器送达并被浏览器加载后,客户端脚本就允许用户与网页进行交互。例如,Google Maps就是使用JavaScript语言来支持用户与地图之间的交互的,交互的方式有移动地图、放大和缩小等。没有JavaScript语言的话,网页需要为每次和每个用户的交互行为进行刷新,当然,除非页面用到了诸如Adobe …
2012-08-02 10:18 · JavaScript · 评论(0)
linux 修改读取最大文件数
查看linux读取文件数量用 ulimit -n 查看 如果是root 权限 可以用 ulimit -n size 来修改linux读取额外年间数量 但是非root权限会报 limit command not found 的异常 非root权限的处理方法 If you want to set it permanently, especially for a particular user, change the file /etc/security/limits.conf to have the following lines (assume user = www-data) E.g. ww…
2012-06-11 14:31 · linux · 评论(0)
不可见字符正则匹配
不可见字符通常是指页面显示时看不到的字符 比如\r\n\t\f 换行符,制表符等。他们可以统一通过\s表示 但是还有一些aciss的字符可以通过\p{Z}来匹配
JAVA 位运算符和位移运算符
java位运算符包括 &(与) AND |(或) OR ^(异或) XOR ~(非) NOT 位移运算符包括 (右移) <<(左移) (右移,左边空出的位以0填充) 顾名思义,位运算符用于位运算,那就只能对整型或者字符型进行运算。而除了~(非)是一元运算符之外其他的都为二元运算符。 所有位运算都会把值转为二进制进行运算 &(与) 运算规则:0&0=0 0&1=0 1&0=0 1&1=1 即:两位同时为1时,结果为1,否则为0 int a=(3&5); System.out.println(a); System.out.println(Integer.toBinaryString(3)); S…
2012-02-09 11:57 · Java综合 · 评论(3)
RPC
来自百度百科 http://baike.baidu.com/view/32726.htm RPC(Remote Procedure Call Protocol)——远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信模型中,RPC跨越了传输层和应用层。RPC使得开发包括网络分布式多程序在内的应用程序更加容易。 基本简介 RPC采用客户机/服务器模式。请求程序就是一个客户机,而服务提供程序就是一个服务器。首先,客户机调用进程发送一个有进程参数的调用信息到服务…
2011-11-18 17:54 · 网络/网页 · 评论(0)
正则匹配不包含某个字符且包含某个字符的字符串
(^(?=(.(?!iask))+$)(?=.*(\.html))) 此正则大致意思是:匹配不包含iask且包含html的字符串
2011-11-10 12:16 · 正则 · 评论(0)
初探map/reduce原理
下面的代码来自于hadoop官网,但是那个例子很繁琐,我对此作了简化 运行下面代码必须在linux系统上,并且已经成功部署安装hadoop package com.hadoop.test3; import java.io.IOException; import java.util.*; import org.apache.hadoop.fs.Path; import org.apache.hadoop.conf.*; import org.apache.hadoop.io.*; import org.apache.hadoop.mapred.*; import org.apache.hado…
java 线程个人总结
关于原子 嗯,为什么要加锁?相信有点基础的童鞋都很清楚。在多线程情况下调用方法主要会出现两类问题 --原子性和非原子性!那他们各自会在神马情况下出现捏? 举一个《thinking in java》第四版中的例子。有一个EvenGenerator类,它的next()方法用来生成偶数。如下: public class EvenGenerator { private int currentValue = 0; private boolean cancled = false; public int next() { ++currentValue; //危险! ++currentValue; retu…
2011-09-15 16:14 · Java综合 · 评论(0)
"Host 'localhost' is not allowed to connect to this MySQL server" 的原因及解决办法
今天在操作数据库的是否发现突然无法启动MYSQL服务,想了想原因是因为自己改动了my.ini文件导致的。所以大家千万不要随便改哦~ 解决无法启动mysql的问题很容易,在安装根目录下都会有my.ini文件的备份。我们可以根据以前的_bak文件直接恢复。 还有一个问题就是 "Host 'localhost' is not allowed to connect to this MySQL server" 重装MYSQL后,发现MYSQL数据库密码为空,则update了 user表里的root密码,重新连接,发现出现"Host 'localhost' is not allowed to conne…
2011-08-29 14:17 · sql · 评论(0)
linux(ubuntu) 之间互挂磁盘 以及 linux挂载windows磁盘
原创文章,转载请注明出处 Linux(ubuntu) 之间挂载磁盘 1.两台机器都要安装nfs sudo apt-get install nfs-kernel-server 2.挂在命令 sudo mount -t nfs 192.168.1.220:/home/.../.../ /home/.../.../ 第一个/home是指被挂载的磁盘目录 第二个/home是指挂载在本机的磁盘目录 3.在192.168.1.220上开启共享 注意这里的220是指被挂载的机器 sudo nano /etc/exports /home/sjeirhvueor/autoimage/mimg00 192.16…
2011-08-04 17:31 · linux · 评论(0)
抓取中应该考虑GB编码的问题
今天,测试的同学在测试我的爬虫的时候发现了一些‘?’的字符,也就是无法识别编码的字符。开始我很诧异,毕竟我用了自动编码识别的很成熟的架构,为虾米会有这种字符?仔细分析了一下页面,页面的编码是'gbk'而用我的程序识别出来是'gb2312'因为分析只采集了前面100个字符作为样本,所以识别出来的是'gb2312'。因为'gb2312'是属于'gbk',只包括一些常见汉字,如果万一有一个偏的汉字出现那就只能沦为现实为'?'号的下场了~ 所以想要做好抓取必须大致的了解编码: GB2312 GB 2312或GB 2312-80是一个简体中文字符集的中国国家标准,全称为《信息交换用汉字编码字符集·基本…
2011-06-30 13:52 · 网络/网页 · 评论(0)