package?com.digitalpebble.storm.crawler;
import?backtype.storm.Config;
import?backtype.storm.metric.MetricsConsumerBolt;
import?backtype.storm.metric.api.IMetricsConsumer;
import?backtype.st...
分类：
其他好文 时间：
2014-08-21 17:25:44
阅读次数：
185
背景介绍 爬虫系统：一台是control server，其他的100台做crawler。server每天定时分发采集任务。 问题出现：由于目标采集任务比较大，准备增加10台crawler。期望在不改变原有任务分配规 则的基础上，同时优先分配任务少的机器上，而且能够对任务较少的机器进行平均分配（...
分类：
其他好文 时间：
2014-08-17 02:18:31
阅读次数：
258
1.flume 2.storm 3.hadoop 4.crawler 5.nutch 6.opentsd 7.tigase 8.flume +shell 收集日志,方便在线以及离线分析 9.redis 做用户行为分析的利器 10.maven 11.git 12.ruby 13.python 14.p...
分类：
其他好文 时间：
2014-08-13 14:29:36
阅读次数：
302
如果想抓数据，就需要有爬虫程序，业内叫crawler或者spider。
有各种语言版本的开源爬虫，c++, Java, php，在github上搜一下，以"spider c++"为关键字，有245个开源爬虫，以"spider java"为关键字，有48个。那python呢？156个。
爬虫技术在业界已经很成熟了，有很多开源框架，在它们的帮助下写爬虫可以很快，几个小时就能写一个...
分类：
Web程序 时间：
2014-08-04 17:37:47
阅读次数：
285
1 import java.util.regex.Matcher; 2 import java.util.regex.Pattern; 3 4 /** 5 * @declare: unicode 帮助类 6 * @author: cphmvp 7 * @version: 1.0 8 * ...
分类：
其他好文 时间：
2014-08-01 15:20:11
阅读次数：
255
Web Crawler, 也时也称scrapers，即网络爬虫，用于自动搜索internet并从中提取 想要的内容。互联网的发展离不开它们。爬虫是搜索引擎的核心，通过智能算法发现符合 你输入的关键字的网页。Google网络爬虫会进入你的域名，然后扫描你网站的所有网页，从中析取网页标题，描述， 关键字...
分类：
Web程序 时间：
2014-07-29 10:25:48
阅读次数：
369
原创文章，链接：
在scrapy使用过程中，很多情况下需要根据实际需求定制自己的扩展，小到实现自己的pipelines，大到用新的scheduler替换默认的scheduler。
扩展可以按照是否需要读取crawler大致分为两种，对于不需要读取的，比如pipelines的编写，只需要实现默认的方法porcess_item。需要读取的，如scheduler的编写又存在另外的方式。...
分类：
其他好文 时间：
2014-07-28 16:08:23
阅读次数：
229
一、学习来由：
最近一段时间，应朋友的需要，完成一款抓取软件。一般而言，python是我比较熟悉的语言，又有丰富的抓取和解析模块，所以果断选择之。
而这远远不是重点，后台程序在工作做经常写，所以比较熟悉，完成了多线程mini_crawler之后，接下来就是要开发可视化的界面，将功能包装成友好的工具。
真正的探索刚刚开始。
在探索过程中，发现很多问题。首先是GUI工具的选择。关于这方面的介绍...
分类：
其他好文 时间：
2014-07-21 23:44:43
阅读次数：
324
启动脚本startup.sh#!/bin/bashx=$(($1))while (($x>0))do java -jar /home/chenpenghui/crawler/crawler-hb/StartUpIp.jar & sleep 3 x=$(($x-1))done线程数 ...
分类：
编程语言 时间：
2014-07-19 21:00:09
阅读次数：
273
1. gocrawl 类结构 1 // The crawler itself, the master of the whole process 2 type Crawler struct { 3 Options *Options 4 5 // Internal fields 6 ...
分类：
其他好文 时间：
2014-06-28 13:52:36
阅读次数：
175
