本文章的例子仅用于学习之用，如涉及版权隐私信息，请联系本人删除，谢谢。
最近一直在练习使用python爬取不同网站的信息，最终目的是实现一个分布式的网络爬虫框架，可以灵活适用不同的爬取需求。
项目github地址:
https://github.com/happyAnger6/anger6Spider
在学习的过程中遇到不少问题，在这里做一下总结，并分享出来，希望有兴趣...
分类：
编程语言 时间：
2016-05-13 00:36:09
阅读次数：
206
Xsoup 0.2.0 发布，HTML 抽取器 黄亿华 发布于： 2014年03月11日 (4评) 分享到： 分享到： 分享到： 分享到： Xsoup 是一款基于 Jsoup 开发的，使用XPath抽取Html元素的工具。它被用于作者的爬虫框架 WebMagic中，进行XPath 解析和抽取。 此次 ...
分类：
其他好文 时间：
2016-05-11 13:32:27
阅读次数：
2594
Jsoup代码解读之七-实现一个CSS Selector 当当当！终于来到了Jsoup的特色：CSS Selector部分。selector也是我写的爬虫框架webmagic开发的一个重点。附上一张street fighter的图，希望以后webmagic也能挑战Jsoup! select机制 Js ...
分类：
Web程序 时间：
2016-05-06 21:49:40
阅读次数：
290
最近跟舍友@小疯一起研究爬虫
他写了个小应用-CSDN博客爬虫 有兴趣的朋友可以点进去看看哦~
一起学习。
一起进步。
听到“爬虫”，是不是第一时间想到python/php ？ 多少想玩爬虫的java学习者就因为语言不通而止步。Java是真的不能做爬虫吗？
当然不是。
只不过python的3行代码能解决的问题，而Java要30行。这里推荐大家一个大牛做的java爬虫框架...
分类：
Web程序 时间：
2016-05-03 18:07:07
阅读次数：
573
有半个月没有更新了，最近确实有点忙。先是华为的比赛，接着实验室又有项目，然后又学习了一些新的知识，所以没有更新文章。为了表达我的歉意，我给大家来一波福利。。。 今天咱们说的是爬虫框架。之前我使用python爬取慕课网的视频，是根据爬虫的机制，自己手工定制的，感觉没有那么高大上，所以我最近玩了玩 py ...
分类：
其他好文 时间：
2016-04-24 21:40:06
阅读次数：
399
最近公司赶项目，过上了996的生活，周日还要陪老婆，实在没时间静下来写点东西，于是导致了swift编写2048的第三篇迟迟没有开工，在此说声抱歉，尽量抽时间在这周末补出来。
首先来介绍下爬虫的作用，爬虫主要用于大批量抓取网站中我们所需数据，其实就是模拟出http请求，之后解析分析所得的数据获取我们需要的信息的这么一个过程。 由于网上已经有很多现成的爬虫框架了，这里就不重复造轮子了，先给大家说一下原...
分类：
编程语言 时间：
2016-04-22 20:27:30
阅读次数：
1094
关于一些基本内容可查看上一篇博客：http://blog.csdn.net/u013082989/article/details/51176073
一、首先看一下爬虫的内容：
（1）学科类型、课程、课程对应章节、课程对应参考教材（主要是要将课程章节对应到上一级爬取的课程上，还有就是课程教材的爬取比较麻烦，下面会讲到）
课程章节：
课程教材
教材内容
二、...
分类：
数据库 时间：
2016-04-20 13:45:39
阅读次数：
340
基于Web Magic的一个爬虫框架（https://github.com/code4craft/webmagic）开发的，可以下载github的用户的头像。 使用Apache的HttpClient对页面进行请求，用JSoup对下载来的html文档进行过滤找到合适的图片链接，再发送一次HttpReq ...
分类：
其他好文 时间：
2016-03-31 23:35:09
阅读次数：
369
webcollector是一个开源的Java网络爬虫框架。最近的爬虫改用java写了，对这一周的工作进行简要总结。对于内部机制了解不深入，主要侧重在应用。 一、环境搭建 需要安装一个webcollector的jar包，从官网上下载bin文件，解压，根据不同IDE的安装方式进行安装即可。 https:
分类：
Web程序 时间：
2016-03-21 07:02:14
阅读次数：
306
此项目的功能是爬取知乎用户信息以及人际拓扑关系，爬虫框架使用scrapy，数据存储使用mongo，下载这些数据感觉也没什么用，就当为大家学习scrapy提供一个例子吧。代码地址：https://github.com/LiuRoy/zhihu_spider，欢迎各位大神指出问题，另外知乎也欢迎大家关注
分类：
其他好文 时间：
2016-03-20 12:59:59
阅读次数：
184
