标签:style blog http java color 使用
把nutch的源代码导入到eclipse工程自定义抓取任务。
http://svn.apache.org/repos/asf/nutch/
从svn下载想要的nutch源码,这里选择nutch-1.1
使用ant编译源代码,编译成功,可以看到多了一个build目录,其中有plugins目录及nutch-1.1.job文件
新建web工程org.apache.nutch.web,执行以下操作
1、 把nutch源代码的src/java 目录复制到web工程的src目录
2、 把nutch源代码的src/conf目录复制到web工程的src目录
3、 把nutch源代码的src/lib目录复制到web工程的WEB-INF/lib目录
4、 把编译的plugins目录复制到web工程的src目录
5、 在web工程src新建目录job,把编译的nutch-1.1.job文件复制到src/job
6、 在web工程src新建目录test,建立测试类,用这个类去调用crawl的main()
package org.apache.nutch; import org.apache.nutch.crawl.Crawl; public class Main { public static void main(String[] args) { String[] arg = { "/urls/url.txt", "-dir", "crawled", "-depth", "10", "-topN", "50" }; try { Crawl.main(arg); } catch (Exception e) { e.printStackTrace(); } } }
Note:
1、 Nutch使用hadoop调度任务,使用前要编辑conf目录下的core-site.xml、hdfs-site.xml、mapred-site.xml等hadoop配置文件。
2、 Nutch-1.1中没有hbase的jar文件,需另下载并设置hbase的配置文件,这里用hbase-0.94.jar
FAQ:
这是一位网友收集的hadoop,hbase,zookeeper错误日志及部分解决办法,以备以后遇到问题作为参考之用。
1、 hadoop-0.20.2 & hbase-0.90.4集群启动错误问题解决:
问题如下:org.apache.hadoop.ipc.RPC$VersionMismatch: Protocol org.apache.hadoop.hdfs.protocol.ClientProtocol version mismatch. (client = 43, server = 41)
at org.apache.hadoop.ipc.RPC.getProxy(RPC.java:364)
at
org.apache.hadoop.hdfs.DFSClient.createRPCNamenode(DFSClient.java:113)
at
org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:215)
at
org.apache.hadoop.hdfs.DFSClient.<init>(DFSClient.java:177)
是hadoop-0.20.2 & hbase-0.90.4版本问题造成的,讲hbase\lib引入的包替换为hadoop-0.20.2-core.jar即可
2、 org.apache.hadoop.security.AccessControlException: Permission denied: user=pc2000, access=WRITE
因为Eclipse使用hadoop插件提交作业时,会默认以 pc2000(计算机名) 身份去将作业写入hdfs文件系统中,对应的也就是 HDFS 上的/user/xxx , 由于 pc2000 用户对hadoop目录并没有写入权限,所以导致异常的发生。
WEB中调用Nutch执行JOB抓取,布布扣,bubuko.com
标签:style blog http java color 使用
原文地址:http://www.cnblogs.com/kofxxf/p/3848168.html