时间分为4周，全部自学，仅提供大纲。适用于Web方向：1、Week1：读完《简明Python教程》，适应Python开发环境2、Week2：写个爬虫，需要深入了解re、urllib2、sqlite3、threading，Queue等几个模块。需要用上多线程抓取，正则表达式分析，并发资源控制，重新开启...
分类：
编程语言 时间：
2015-04-01 19:46:40
阅读次数：
148
背景：实验室大数据分析需要得到社交网站的数据，首选当然是新浪。数据包括指定关键词、话题、位置的微博的内容。字段包括：图片、时间、用户、位置信息。思路分析：要爬新浪的数据主要有2种方法： 1.微博开发者平台提供的微博API，资源包括微博内容、评论、用户、关系、话题等信息。同时，你也可以申请高级接口、....
分类：
其他好文 时间：
2015-04-01 10:53:59
阅读次数：
268
利用python抓取网络图片的步骤：
1.根据给定的网址获取网页源代码
2.利用正则表达式把源代码中的图片地址过滤出来
3.根据过滤出来的图片地址下载网络图片
import urllib
import re
import os
#urllib,r...
分类：
编程语言 时间：
2015-04-01 09:37:09
阅读次数：
171
最近需要解决的问题需要用到Httpclient，模拟登陆网站！成功之后就可以用代码的方式获取网站内容或者发送请求，类似网络爬虫。
但是在网上找了好多篇Blog，发现每一片的写法都不一样，也纠结了些时间，很纳闷，才发现Httpclient版本不一样。。。现在在这里说明我使用的版本是HttpClient 4.1.3，我已上传下载
看了些Blog，发现直接访问大型的网站不太容易，于是...
分类：
Web程序 时间：
2015-03-31 18:17:24
阅读次数：
217
python爬虫Pragmatic系列IV
说明：
在上一篇博客中，我们已经做到了从赶集网首页上抓取所有的链接，并下载下来，分析后存入Excel中。
本次目标：
在本节中，我们将使用python多线程技术从赶集网上抓取链接并分析，注意，我们这次能够抓获的链接数目可以远远大于上一篇博客中抓获的。
分析：
用爬虫统计信息那自然数据越多越好，为了获取更多的数据，我们研究下如何打开上千...
分类：
编程语言 时间：
2015-03-31 16:10:13
阅读次数：
212
仿照http://blog.csdn.net/lming_08/article/details/44710779里面的方法, 获取指定URL 的所需的子链接及其描述.
#!/usr/bin/python
# -*- coding: utf-8 -*-
import sys
import urllib2
import re
if len(sys.argv) != 2:
print ...
分类：
Web程序 时间：
2015-03-29 20:59:09
阅读次数：
170
最近在广告投放时需要找到一批强项关的人群, 现在发现了指定的一些URL可能会跟给广告相关,所以需要对每个URL 的网页内容进行解析,以便能判断URL 是否与该广告相关.
我这里使用python中的urllib或urllib包对URL 的内容提取.方法如下:
#!/usr/bin/python
# -*- coding: utf-8 -*-
import urllib2
import re
u...
分类：
Web程序 时间：
2015-03-29 01:56:23
阅读次数：
229
例1.一个简单的 curl 获取百度 html 的爬虫程序（crawler）：spider.phpd:D:\>cd practise/php/curlD:\practise\php\curl>php -f weather.php > weather.txt把返回的结果保存在 txt 文件中（如果报错...
分类：
Web程序 时间：
2015-03-29 01:52:58
阅读次数：
246
python爬虫Pragmatic系列III
说明：
在上一篇博客中，我们已经学会了从赶集网上的一家公司中提取出有关的信息，并存储到Excel中。
本次目标：
在本节中，我们将批量下载赶集首页上所有的公司界面（注意不是赶集网上所有的公司页面，我们可以把这个留给之后的任务），并批量的处理所有公司的有关信息，并保存到Excel中。
注意：
在上一篇博客中，我们使...
分类：
编程语言 时间：
2015-03-28 23:18:24
阅读次数：
441
如何做最好的定向爬虫架构
姓名：郭钟
当前职位：某创业公司担任爬虫工程师
摘要
随着互联网信息的不断发展，信息数据的挖掘技术也不断的发展。网络爬虫技术也随之得到了巨大的发展。而对于内容型驱动的网站来说反扒是一件必不可少的事情。很多网站用Jquery加壳、登录验证、限制单位IP每秒请求次数来阻止爬虫窃取数据。所以爬虫的智能性也受到越来大的挑战。特别是国内高匿代理IP资源少的问题给爬虫的...
分类：
其他好文 时间：
2015-03-22 09:18:47
阅读次数：
323
