2010 年文章归档
共 42 篇文章
linux压缩和解压缩
首先到你需要压缩/解压的目录下 cd /home/.. 用ls命令查看此目录下的所有文件 解压 比如我要解压test.tar.gz文件 用 gzip -d test.tar.gz命令 这样test.tar.gz 就会变为 test.tar 然后用tar xvf test.tar这个命令就可以解压成功了 压缩 首先建立tar文件 tar cvf test.tar test.tar名字是自己取的
2010-12-30 14:04 · linux
Linux第一步配置静态MAC和自动获取
修改MAC地址的语句 ifconfig eth0 down ifconfig eth0 hw ether MAC(例如:00:04:a2:d2:e2:12) ifconfig eth0 up 注意:MAC是16进制的 还有修改完后重启系统后。MAC又变回原来的地址。所以呢需要静态配置 在在/etc/rc.d/rc.local中加入以下三行(也可在/etc/init.d/network中添加以上三行) 就OK了 嗯,如何自动获取IP呢? 试试以下两句吧~~~~ ifconfig eth0 up dhclient 如果需要静态的话同样在/etc/rc.d/rc.local中加入以上两行 然后就可…
2010-12-30 10:29 · linux
HTTP header
有四种头标: 1. 通用头标 既可用于请求有可用于响应,并且是作为一个整体而不是特定资源 与事务相关联。 2. 请求头标 允许客户端传递关于自身信息和希望的响应形式。 3. 响应头标 服务器用于传递自身信息和响应。 4. 实体头标 定义被传送资源的信息。既可用于请求,也可用于响应 头标以如下的单行形式发送。 : 其中 name是头标名,大小写敏感 value是头标值; crlf是回车换行符 JSP页面可以使用request.getHeader()方法读取特定的头标值。也可以使用response.setHeader方法设置头标值。 以下是HTTP/1.1中用到的头标: |头标| 描述| |Co…
2010-12-22 15:47 · 网络/网页
MySQL函数
一、 控制流程函数 a) CASE WHEN THEN 函数 语法: CASE value WHEN THEN result THEN result ……] END CASE WHEN THEN result THEN result ……] END ; 函数用法说明:在第一个方案的返回结果中, value =compare-value 。而第二个方案的返回结果是第一种情况的真实结果。如果没有匹配的结果值,则返回结果为 ELSE 后的结果,如果没有 ELSE 部分,则返回值为 NULL b) IF 函数用法 语法: IF(expr1,expr2,expr3) 函数用法说明:如果 expr1 是…
2010-11-30 16:18 · sql
如何读取gzip压缩网页
最近在抓取搜狐的时候发现下载下来的页面都是乱码,开始以为是解码出了问题可是查找半天无果,很是郁闷。返回的状态码是200,怎么都是乱码呢?难道是页面做了加密? 其实这是搜狐为了加快网页加载速度对页面做了压缩。哎,我out了~~~~ 下面来解决这个问题吧~~~ 1.如何判断页面是否是压缩的 URLConnection hc = null; hc.getHeaderField("Content-Encoding") 如果得到的是 gzip则说明页面做了压缩 2.对页面压缩/解压的方法 /** * @param source * 源文件 * @param target * 目标文件 */ publi…
2010-11-30 10:26 · 网络/网页
eclipse部署配置nutch1.3
原创文章,转载请注明出处 nutch群:74985182 欢迎加入交流 nutch是在hadoop基础上做的,由于hadoop只在linux上运行,里面涉及到大量的操作linux程序,所以我们在部署的时候必须先安装cygwin环境 一、安装cygwin环境 cygwin是windows下模拟linux环境的免费软件 下载安装程序: http://www.cygwin.com/setup.exe 安装完成后运行setup.exe点击下一步如下图 界面出现三种安装模式: Install from Internet,这种模式直接从Internet安装,适合网速较快的情况; Download Wit…
2010-11-19 12:15 · nutch
Heritrix中的SURT和SurtPrefixedDecideRule
在Heritrix中,如果我们需要抓取指定host的网页,需要用到SurtPrefixedDecideRule这个规则。 这里根据Heritrix的文档,解释一下SURT。 SURT全称是Sort-friendly URI Reordering Transform。 目的是将一个URL转换成更方便的格式进行处理。 .... SURT类可以将下面这种形式的URL: scheme://userinfo@domain.tld:port/path?query#fragment 转换成: scheme://(tld,domain,:port@userinfo)/path?query#fragment …
2010-11-17 16:31 · heritrix
heritrix设计详解(一) 总述
原创文章:转载请注明出处 读了一段时间的源码,结合网上的文档和自己的理解来详解下heritrix的体系结构,总体来说hertitrix是一个设计优良的框架,扩展性极强,除了无法实现分布式之外,其他部件都可以被扩展。 体系结构 CrawlController(下载控制器):整个下载过程的总的控制者,整个抓取工作的起点,决定整个抓取任务的开始和结束.从Frontier获取URI,传递给线程池(ToePool)中的ToeThread调用处理器链(Processorchains)处理. Frontier(边界部件): 跟踪哪个预定的URI将被收集,和已经被收集的URI,选择下一个 URI,剔除已经处…
2010-11-17 10:39 · heritrix
Java 位运算符
Java 位运 算 符 位运算符用来对二进制位进行操作 ,Java中提 供 了 如 下所 示 的 位 运 算符 : 位 运 算 符 (>>,<<,>>>,&,|,^,~ ) ,位运 算 符 中 ,除 ~ 以 外 ,其余 均 为 二 元 运 算 符 。 操 作 数 只 能 为 整 型 和字 符 型 数 据 。 基础知识 补码 所有的整数类型(除了char 类型之外)都是有符号的整数。这意味着他们既能表示正数,又能表示负数。 Java使用 补 码 来 表 示 二 进 制 数 ,在补 码 表 示 中 ,最高 位 为 符号 位 ,正数 的 符 号 位 为 0,负数 为 1。补 码 的 规 定 如 下…
2010-11-17 10:24 · Java综合
spider技术综述
转自soso 出处:http://blog.csdn.net/soso_blog/archive/2010/07/28/5771350.aspx Spider系统是搜索引擎当中进行互联网上数据采集的一个核心子系统。在这个子系统当中,通常先种入一批种子Url,Spider对这些种子Url采集之后将链接提取入库,然后再对新入库的Url进行采集,并且负责对采集过的Url进行更新采集,如此循环。 随着各种垂直搜索引擎的不断发展,整个Spider在功能上又分为传统的收集互联网上所有数据的大Spider和服务于某个专门领域的聚焦Spider。两类Spider的不同之处在于,后者需要一个过滤器来过滤掉那些…
2010-11-12 10:41 · heritrix
Heritrix源码之 处理链
heritrix源码真不是一般的复杂,但是一点一点解析的话还是能看懂的 处理链是heritrix里面最重要的地方之一,对页面的操作都通过处理链完成,其配置的灵活程度和通用性十分强大。别的程序也可以借鉴哦~~~ ProcessorChainList 处理器链集合,包含多个处理器链,每个URL都会有这样一个处理器集合,使得先从该集合中获取处理器链,然后再从处理器链中获取每个处理器,最后让每个处理器都做他们的处理,完成整个抓取。处理器链集里面的处理链是用户配置的,也就是说这个处理器链集里面填充的都是在UI里面配置的项。 在初始化的时候读取所有的配置项调用 public void addProces…
2010-11-09 18:09 · heritrix
爬虫 js,flash,ajax网页(JREX)
抓取的过程中会遇到很多对爬虫不友好的页面,比如js,ajax,flash等等,正在为这些页面苦恼时发现JREX,调用firefox内核渲染页面可以很好的解决这些问题 不过现在JREX已经没有人维护了最新版是在05年发布的 "JRex" is a Java Browser Component with set of API's for Embedding Mozilla GECKO within a Java Application. 一、 安装 网址: http://jrex.mozdev.org/ 解压缩 jrex_gre.zip 到 C:\jrex_gre 目录中 然后将 jrex-bi…
2010-11-09 15:44 · 网络/网页
Heritrix源码分析(十三) Heritrix的控制中心(大脑)CrawlController(二)
转自:http://guoyunsky.iteye.com/blog/650744 1.Heritrix的初始化: /** * 初始化CrawlController * @param sH 配置文件(order.xml)对象 * @throws InitializationException 初始化异常 */ public void initialize(SettingsHandler sH) throws InitializationException { // 给监听器发送状态为准备状态 sendCrawlStateChangeEvent(PREPARING, CrawlJob.STAT…
2010-11-04 10:58 · heritrix
爬虫基本原理及概念
爬虫在网络中爬行的时候,将Web 上的网页集合看成是一个有向图,从给定的起始 URL 开始,沿着网页中的链接,按照一定的策略进行。通常用到以下几种遍历算法: 1、深度优先算法 该算法是指网络爬虫会从选定的一个超链接开始,按照一条线路,一个一个链接访 问下去,直到达到这条线路的叶子节点,即不包含任何超链接的HTML 文件,处理完这 条线路之后再转入下一个起始页,继续访问新的起始页面所包含的链接中的一条,直到 到达叶子结点。这个方法有个优点是网络爬虫在设计的时候比较容易。 2、广度优先算法 广度优先算法是指网络爬虫会先抓取起始网页中包含链接的所有网页,然后再选择 其中的一个链接网页,继续抓取在这…
2010-10-22 17:35 · heritrix
mysql locked 解决方案
最近发现程序运行速度明显变慢,而且CPU常常在90%以上! 通过检测发现瓶颈居然在mysql,通过运行 SHOW PROCESSLIST 可以看到很多locked的查询语句,当时过了一个小时左右locked的情况又不见了。由此可见locked不是死锁。 那为什么会出现locked呢? 在MySQL中对于使用表级锁定的存储引擎,表锁定时不会死锁的。这通过总是在一个查询开始时立即请求所有必要的锁定并且总是以同样的顺序锁定表来管理。 我的表格式为MyISAM 对WRITE,MySQL使用的表锁定方法原理如下: ◆ 如果在表上没有锁,在它上面放一个写锁。 ◆否则,把锁定请求放在写锁定队列中。 对RE…
2010-10-14 09:53 · sql
Eclipse快捷键大全(转载)
Ctrl+1 快速修复(最经典的快捷键,就不用多说了) Ctrl+D: 删除当前行 Ctrl+Alt+↓ 复制当前行到下一行(复制增加) Ctrl+Alt+↑ 复制当前行到上一行(复制增加) Alt+↓ 当前行和下面一行交互位置(特别实用,可以省去先剪切,再粘贴了) Alt+↑ 当前行和上面一行交互位置(同上) Alt+← 前一个编辑的页面 Alt+→ 下一个编辑的页面(当然是针对上面那条来说了) Alt+Enter 显示当前选择资源(工程,or 文件 or文件)的属性 Shift+Enter 在当前行的下一行插入空行(这时鼠标可以在当前行的任一位置,不一定是最后) Shift+Ctrl+E…
2010-09-16 16:47 · Java综合
JVM调优总结 -Xms -Xmx -Xmn -Xss【转载】
堆大小设置 JVM 中最大堆大小有三方面限制:相关操作系统的数据模型(32-bt还是64-bit)限制;系统的可用虚拟内存限制;系统的可用物理内存限制。32位系统下,一般限制在1.5G~2G;64为操作系统对内存无限制。我在Windows Server 2003 系统,3.5G物理内存,JDK5.0下测试,最大可设置为1478m。 典型设置: Java -Xmx3550m -Xms3550m -Xmn2g -Xss128k -Xmx3550m:设置JVM最大可用内存为3550M。 -Xms3550m:设置JVM促使内存为3550m。此值可以设置与-Xmx相同,以避免每次垃圾回收完成后JVM重…
2010-09-02 09:08 · 异常
[转]Tomcat中对内存的分配与溢出的处理办法
Tomcat中对内存的分配与溢出的处理办法 内存分配: 以下给出1G内存环境下java jvm 的参数设置参考: JAVA_OPTS=”-server -Xms800m -Xmx800m -XX:PermSize=64M -XX:MaxNewSize=256m -XX:MaxPermSize=128m -Djava.awt.headless=true ” JAVA_OPTS=”-server -Xms768m -Xmx768m -XX:PermSize=128m -XX:MaxPermSize=256m -XX:NewSize=192m -XX:MaxNewSize=384m” CATALI…
2010-08-31 09:02 · 异常
apache所有项目的svn地址
apache所有项目的svn地址: http://svn.apache.org/repos/asf/ ibatis svn 的url: http://svn.apache.org/repos/asf/ibatis/ turbine svn 的url: http://svn.apache.org/repos/asf/turbine/
2010-08-27 09:01 · opensource
Java应用crash的可能原因-java_errorpid.log
Java的应用有时候会因为各种原因Crash,这时候会产生一个类似java_errorpid.log的错误日志。可以拿到了这个日志,怎样分析Crash的原因呢?下面我们来详细讨论如何分析java_errorpid.log的错误日志。 一. 如何得到这个日志文件 如果有一个严重的错误引起Java进程非正常退出,我们叫Crash,这时候会产生一个日志文件。缺省情况下,这个文件会产生在工作目录下。但是,可以在Java启动参数通过下面的设置,来改变这个文件的位置和命名规则。例如: java -XX:ErrorFile=/var/log/java/java_error_%p.log 就将这个错误文件放…
2010-08-23 10:26 · 异常