原文http://www.xgezhang.com/python_crawler_jingdong.html先上我的代码。参考了上面链接的文章#-*-coding:utf-8-*-
#!/usr/bin/python
importos
importurllib2
importurllib
importcookielib
importre
importsys
frombs4importBeautifulSoup
‘‘‘
编码方式的设置,在中文使用时..
分类：
编程语言 时间：
2016-03-08 00:40:52
阅读次数：
4567
在做 Crawler的时候，本来是准备用正则的，但是看jsoup很好用，就没有学，刚刚在做古诗提取的时候，又要用到正则表达式，还是学了算了。 说明： 文章重点参考的http://www.cnblogs.com/ggjucheng/p/3423731.html，加上自己有一点理解。 正则表达式的语法可
分类：
编程语言 时间：
2016-02-13 00:25:48
阅读次数：
294
我们可以通过HTTP_USER_AGENT来判断是否是蜘蛛，搜索引擎的蜘蛛都有自己的独特标志，下面列取了一部分。 function is_crawler() { $userAgent = strtolower($_SERVER['HTTP_USER_AGENT']); $spiders = arra
分类：
Web程序 时间：
2016-02-03 09:48:40
阅读次数：
205
Bloom Filter是由Bloom在1970年提出的一种多哈希函数映射的快速查找算法。通常应用在一些需要快速判断某个元素是否属于集合，但是并不严格要求100%正确的场合。
一. 实例
为了说明Bloom Filter存在的重要意义，举一个实例：
假设要你写一个网络蜘蛛（web crawler）。由于网络间的链接错综复杂，蜘蛛在网络间爬行很可能会形成“环”。为了避免形成“...
分类：
编程语言 时间：
2016-01-25 11:35:06
阅读次数：
194
Twitter crawler 与sina 微博类似，使用twitter api之前，首先要有twitter的账号，在twitter developer中创建应用（https://apps.twitter.com/app/new）。创建成功之后可以获得应用的信息，包括Consumer key和Con...
2.增量型爬虫（Incremental Crawler）：增量型爬虫与批量型爬虫不同，会保持持续不断的抓 取，对于抓取到的网页，要定期更新，因为互联网的网页处于不断变化中，新增网页、网页被删除或者网页内容更改都很常见，而增量型爬虫需要及时反映这种变 化，所以处于持续不断的抓取过程中，不是在抓取新网页...
分类：
其他好文 时间：
2015-12-30 21:42:03
阅读次数：
154
Heritrix 下载目前 Heritrix 的最新版本是 1.14.4（2010-5-10 发布），您可以从 SourceForge（http://sourceforge.net/projects/archive-crawler/files/）上下载。每个版本都有四个压缩包，两个 .tar.gz ...
分类：
其他好文 时间：
2015-12-13 23:41:58
阅读次数：
269
package com.test.crawler.service;import org.apache.http.HttpEntity;import org.apache.http.client.methods.CloseableHttpResponse;import org.apache.http....
分类：
Web程序 时间：
2015-11-02 11:48:32
阅读次数：
173
网络爬虫（Web crawler）：也叫网络蜘蛛（Web spider）,网络爬虫的基本操作就是抓取网页。浏览网页：在火狐浏览器中打开百度www.baidu.com ，就是将浏览器作为一个’客户端‘， 向服务器发送一次请求， 把服务器的文件’抓取‘到本地，再进行解释和展现.HTML：是一种标记语言，...
分类：
编程语言 时间：
2015-10-31 22:46:52
阅读次数：
212
HeritrixHeritrix是一个开源，可扩展的web爬虫项目。Heritrix设计成严格按照robots.txt文件的排除指示和META robots标签。http://crawler.archive.org/WebSPHINXWebSPHINX是一个Java类包和Web爬虫的交互式开发环境。...
分类：
其他好文 时间：
2015-10-21 01:43:57
阅读次数：
216
