案例讲解import urllib #调用uerllib
import webbrowser
url = 'http://blog.csdn.net/xlgen157387'
content = urllib.urlopen(url).read()
open('test.html','w').write(content) #写入到test.html文件中
webbrowser.open_new_...
分类：
编程语言 时间：
2015-04-18 16:11:40
阅读次数：
175
Python爬虫Csdn系列III
By 白熊花田(http://blog.csdn.net/whiterbear) 转载需注明出处，谢谢。
说明：
在上一篇博客中，我们已经能够获取一个用户所有文章的链接了，那么这一节自然就是要将这些博客下载下来咯。
分析：
有了链接下载文章自然是不难。但是，获取的数据该怎么处理？每...
分类：
编程语言 时间：
2015-04-11 16:23:12
阅读次数：
189
python 爬虫爬取美女图片
#coding=utf-8
import urllib
import re
import os
import time
import threading
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
return html
def getImg...
分类：
编程语言 时间：
2015-04-11 09:02:27
阅读次数：
226
本篇文章的目的有两个：
1.记录搭建爬虫环境的过程
2.总结爬虫项目的心得体会
一、系统环境
该方案在32位ubuntu10.04和64位centos6.9上面测试通过，所需要用到的软件如下：
1.ubuntu10.04或者centos6.9任选其一，下文主要以centos6.9来说明
2.pyspider源代码，可以从这里下载到http://download.csdn.net/detail...
分类：
编程语言 时间：
2015-04-10 20:13:53
阅读次数：
1345
Python爬虫Csdn系列II
By 白熊花田(http://blog.csdn.net/whiterbear) 转载需注明出处，谢谢。
说明：
在上一篇文章中，我们已经知道了只要将程序伪装成浏览器就能访问csdn网页。在这篇文章中，我们将设法获取某个csdn用户的所有文章的链接。
分析：
打开一个某一个的csdn用户的的专栏...
分类：
编程语言 时间：
2015-04-10 17:57:46
阅读次数：
225
"""
文本处理是当下计算机处理的主要任务，从文本中找到某些有用的信息，
挖掘出某些信息是现在计算机程序大部分所做的工作。而python这中轻量型、小巧的语言包含了很多处理的函数库，
这些库的跨平台性能很好，可移植性能很强。
在Python中re模块提供了很多高级文本模式匹配的功能，以及相应的搜索替换对应字符串的功能。
"""
"""
正则表达式符号和特殊字符
re1|re...
分类：
编程语言 时间：
2015-04-09 23:52:08
阅读次数：
316
Python爬虫Csdn系列I
By 白熊花田(http://blog.csdn.net/whiterbear)
说明：
我会在这个系列介绍如何利用python写一个csdn爬虫，并将给定的Csdn用户的博客的所有文章保存起来。嗯，实用性貌似不是很大，写着玩，这个系列后，会有更好玩的更高级的爬虫出现。
原因：
本来想学cooki...
分类：
编程语言 时间：
2015-04-09 19:51:14
阅读次数：
160
How many integers can you find
Problem Description
Now you get a number N, and a M-integers set, you should find out how many integers which are small than N, that they can divided exact...
分类：
其他好文 时间：
2015-04-08 13:16:01
阅读次数：
146
第二部分抽取起始页中进入宝贝详情页面的链接创建项目，并生成spider模板，这里使用crawlspider。2.在中scrapyshell中测试选取链接要使用的正则表达式。首先使用firefox和firebug查看源码，定位到要链接然后在shell中打开网页：scrapyshellhttp://shanhuijj.tmall.com/search.h..
分类：
编程语言 时间：
2015-04-05 19:04:49
阅读次数：
400
