最近跟舍友@小疯一起研究爬虫
他写了个小应用-CSDN博客爬虫 有兴趣的朋友可以点进去看看哦~
一起学习。
一起进步。
听到“爬虫”，是不是第一时间想到python/php ？ 多少想玩爬虫的java学习者就因为语言不通而止步。Java是真的不能做爬虫吗？
当然不是。
只不过python的3行代码能解决的问题，而Java要30行。这里推荐大家一个大牛做的java爬虫框架...
分类：
Web程序 时间：
2016-05-03 18:07:07
阅读次数：
573
继之前爬取知乎用户之后，目前爬取到3.5万条数据，但是在这些数据中有一些是没有完整填写用户信息的。检索数据库中地理位置不为空的用户，进行地域统计。 其中的shengshi.txt是省市的列表，文件如下： 生成result2.txt文件结构如下，为何要生成如此结构的文件，下文有用 使用echart网站 ...
分类：
其他好文 时间：
2016-04-02 13:40:24
阅读次数：
959
此项目的功能是爬取知乎用户信息以及人际拓扑关系，爬虫框架使用scrapy，数据存储使用mongo，下载这些数据感觉也没什么用，就当为大家学习scrapy提供一个例子吧。代码地址：https://github.com/LiuRoy/zhihu_spider，欢迎各位大神指出问题，另外知乎也欢迎大家关注
分类：
其他好文 时间：
2016-03-20 12:59:59
阅读次数：
184
简单介绍： WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架（内核），它提供精简的的API。仅仅需少量代码就可以实现一个功能强大的爬虫。 怎样将WebCollector导入项目请看以下这个教程： JAVA网络爬虫WebCollector深度解析——爬虫内核 參数： WebCol
分类：
编程语言 时间：
2016-02-19 14:09:48
阅读次数：
771
与之前爬的网站图片的不同的是，现在爬取的是要自己个人的关注的东西，所以需要做到模拟登录。模拟登录的原理是登录网站后，在浏览器上获取保存的cookies信息，填充之后与请求一起发送。...
分类：
编程语言 时间：
2015-11-27 13:10:13
阅读次数：
221
我用python爬虫找到了不想告诉我她知乎ID的妹纸的ID…….在我做了这件事情之后 , 她觉得我越来越懂她了 , 嘻嘻有一天 , 我发现我心仪已久的妹纸在朋友圈里分享了知乎专栏的文章 , 就知道她也刷知乎 . 如果在知乎上关注她 , 我就能知道 , 她最近关注什么 , 心里想些什么 , 了解了解她喜欢的方面 , 还能作为谈资 , 简直太赞了 (*^^)v .
但是输入她的名字…… 在知乎上根本找...
分类：
编程语言 时间：
2015-06-17 21:43:01
阅读次数：
123
看知乎的时候发现了一个 “如何正确地吐槽” 收藏夹，里面的一些神回复实在很搞笑，但是一页一页地看又有点麻烦，而且每次都要打开网页，于是想如果全部爬下来到一个文件里面，是不是看起来很爽，并且随时可以看到全部的，于是就开始动手了。工具1.Python 2.72.BeautifulSoup分析网页我...
分类：
编程语言 时间：
2015-01-03 19:49:03
阅读次数：
187
JAVA爬虫WebCollector教程列表
入门教程：
WebCollector入门教程（中文版）
用WebCollector对指定URL进行爬取和解析
JAVA爬虫Nutch、WebCollector的正则约束
实例：
用WebCollector制作一个爬取《知乎》并进行问题精准抽取的爬虫（JAVA）
内核：
利用WebCollector爬虫...
分类：
编程语言 时间：
2014-08-28 14:52:39
阅读次数：
453
WebCollector是一个无须配置、便于二次开发的JAVA爬虫框架（内核），它提供精简的的API，只需少量代码即可实现一个功能强大的爬虫。教程介绍了如何用WebCollector打造一个爬取《知乎》并进行问题精准抽取的爬虫（JAVA）...
分类：
编程语言 时间：
2014-07-27 11:50:23
阅读次数：
424
