有小部分的修改,并加入详细注释#! -*- coding:utf-8 -*-
#! usr/bin/python'''
#=====================================================
# FileName: Spider_qb.py
# Describe: 从糗百下载段子并依次播放
# Modifier: sunny
# Sinc...
分类:
编程语言 时间:
2015-04-20 18:38:44
阅读次数:
143
案例讲解import urllib #调用uerllib
import webbrowser
url = 'http://blog.csdn.net/xlgen157387'
content = urllib.urlopen(url).read()
open('test.html','w').write(content) #写入到test.html文件中
webbrowser.open_new_...
分类:
编程语言 时间:
2015-04-18 16:11:40
阅读次数:
175
此文主要是 中国天气网和中国环境监测总站的数据抓取 打算开放全部数据抓取源代码(微信关注人数大于100统一发放) 已在服务器上 稳定运行半个月webapihttp://api.xuzhiheng.cn/常量 1 /// 2 /// 环保部抓取数据链接 3 /// ...
分类:
微信 时间:
2015-04-18 11:26:11
阅读次数:
596
Python爬虫Csdn系列III
By 白熊花田(http://blog.csdn.net/whiterbear) 转载需注明出处,谢谢。
说明:
在上一篇博客中,我们已经能够获取一个用户所有文章的链接了,那么这一节自然就是要将这些博客下载下来咯。
分析:
有了链接下载文章自然是不难。但是,获取的数据该怎么处理?每...
分类:
编程语言 时间:
2015-04-11 16:23:12
阅读次数:
189
python 爬虫爬取美女图片
#coding=utf-8
import urllib
import re
import os
import time
import threading
def getHtml(url):
page = urllib.urlopen(url)
html = page.read()
return html
def getImg...
分类:
编程语言 时间:
2015-04-11 09:02:27
阅读次数:
226
本篇文章的目的有两个:
1.记录搭建爬虫环境的过程
2.总结爬虫项目的心得体会
一、系统环境
该方案在32位ubuntu10.04和64位centos6.9上面测试通过,所需要用到的软件如下:
1.ubuntu10.04或者centos6.9任选其一,下文主要以centos6.9来说明
2.pyspider源代码,可以从这里下载到http://download.csdn.net/detail...
分类:
编程语言 时间:
2015-04-10 20:13:53
阅读次数:
1345
Python爬虫Csdn系列II
By 白熊花田(http://blog.csdn.net/whiterbear) 转载需注明出处,谢谢。
说明:
在上一篇文章中,我们已经知道了只要将程序伪装成浏览器就能访问csdn网页。在这篇文章中,我们将设法获取某个csdn用户的所有文章的链接。
分析:
打开一个某一个的csdn用户的的专栏...
分类:
编程语言 时间:
2015-04-10 17:57:46
阅读次数:
225
"""
文本处理是当下计算机处理的主要任务,从文本中找到某些有用的信息,
挖掘出某些信息是现在计算机程序大部分所做的工作。而python这中轻量型、小巧的语言包含了很多处理的函数库,
这些库的跨平台性能很好,可移植性能很强。
在Python中re模块提供了很多高级文本模式匹配的功能,以及相应的搜索替换对应字符串的功能。
"""
"""
正则表达式符号和特殊字符
re1|re...
分类:
编程语言 时间:
2015-04-09 23:52:08
阅读次数:
316
Python爬虫Csdn系列I
By 白熊花田(http://blog.csdn.net/whiterbear)
说明:
我会在这个系列介绍如何利用python写一个csdn爬虫,并将给定的Csdn用户的博客的所有文章保存起来。嗯,实用性貌似不是很大,写着玩,这个系列后,会有更好玩的更高级的爬虫出现。
原因:
本来想学cooki...
分类:
编程语言 时间:
2015-04-09 19:51:14
阅读次数:
160