好吧，没想到居然这么快，才两天我就把入门看完了，当然只是入门，以后如果用到，会把那些各个类型的细化都总结一下例如数学函数，或者总结一下一些框架的应用如Scarpy(爬虫框架，听着就很兴奋呢，很多人都是了解有，但是没用过......)，笔者写完这段暂时先开心的看电影去，回学校再说。Python的屏幕I...
分类：
编程语言 时间：
2014-07-15 08:26:59
阅读次数：
204
主要作用是告诉蜘蛛爬虫该网站下哪些内容能抓取，哪些内容不能抓取。虽然可以没有robots.txt这个文件，默认就抓取该网站的所有文件，对搜索引擎爬虫没有任何的影响，但是如果你想控制蜘蛛的检索间隔，你就必须用robots.txt来控制。robots.txt不是一种规范，是约定俗成的，主流的搜索引擎都是...
分类：
其他好文 时间：
2014-07-15 08:01:58
阅读次数：
189
我们如果在公司或家里使用网络爬虫去抓取自己索要的一些数据的时候，常常对方的网站有defence机制，会给你的http请求返回500错误，只要是相同IP就请求不到数据，这时候我们只能去重启路由器，这样IP地址会改变，网络爬虫就能正常工作了
下面是通过发送Socket请求来模拟路由器的重启指令:
protected void rebotadsl() {
try {
BufferedO...
分类：
编程语言 时间：
2014-07-14 13:00:50
阅读次数：
274
上一篇博客我们成功地从网页上爬下了小说的一个章节，理所当然地，接下来我们要把整本小说都爬下来。首先，我们要把程序从原来的读完一章就结束，改成读完一章之后可以继续进行下一章的阅读。
注意到每个小说章节的网页下面都有下一页的链接。通过查看网页源代码，稍微整理一下（ 不显示了），我们可以看到这一部分的 HTML 是下面这种格式的：...
分类：
编程语言 时间：
2014-07-12 22:45:47
阅读次数：
341
虽然上一篇博客中我们可以连续地阅读章节了，但是，难道每一次看小说都运行一下我们的 Python 程序？连记录看到哪里都不行，每次都是重新来过？当然不能这样，改！现在这么多小说阅读器，我们只需要把我们要的小说抓取到本地的 txt 文件里就好了，然后自己选个阅读器看，怎么整都看你了。
其实上个程序我们已经完成了大部分逻辑，我们接下来的改动只需要把抓取到每一章的时候不用显示出来，而是存入 txt 文件之中。另外一个是程序是不断地根据下一页的 Url 进行抓取的，那么什么时候结束呢？注意当到达小说的最后一章...
分类：
编程语言 时间：
2014-07-12 18:35:14
阅读次数：
279
新手学python，写了一个抓取网页后自动下载文档的脚本，和大家分享。 首先我们打开三亿文库下载栏目的网址，比如专业资料（IT／计算机／互联网）http://3y.uu456.com/bl-197?od=1&pn=0，可以观察到，链接中pn=后面的数字就是对应的页码，所以一会我们会用iurl =.....
分类：
编程语言 时间：
2014-07-12 13:28:16
阅读次数：
385
1 m Queue import Queue 2 from gzip import GzipFile 3 from StringIO import StringIO 4 import time 5 import socket 6 class ContentEncodingProcess...
分类：
编程语言 时间：
2014-07-11 21:41:10
阅读次数：
217
本文记录下用来爬虫主要使用的两个库。第一个是requests，用这个库能很方便的下载网页，不用标准库里面各种urllib；第二个BeautifulSoup用来解析网页，不然自己用正则的话很烦。requests使用，1直接使用库内提供的get、post等函数，在比简单的情况下使用，2利用session...
分类：
编程语言 时间：
2014-07-11 18:51:34
阅读次数：
250
这是一个简单的c++爬虫，效率并不是很高... 1 #include 2 int s1[1000000],s2[1000000]; 3 void fun(int a, int b) 4 { 5 int i,ii; 6 bool t1,t2,t3,t4; 7 s1[0] = s...
分类：
编程语言 时间：
2014-07-11 18:05:16
阅读次数：
297
