需求 最近在做一个功能，使用python爬取网页然后保存到本地。其中遇到的一个难题是判断页面的编码方式。有问题就百度喽，当时我没想到自己去解决。一百度就找到了一个叫chardet的插件。大喜过望，试了一下很OK。好了，貌似问题解决了，可是 坑 为毛我的请求变慢了很多，起初我还以为是python慢，后 ...
分类：
其他好文 时间：
2016-10-28 20:36:59
阅读次数：
168
#爬取电影票房信息 library(stringr) library(XML) library(maps) #htmlParse()用来interpreting HTML #创建一个object movie_parsed<-htmlParse("http://58921.com/boxoffice/ ...
分类：
Web程序 时间：
2016-10-27 20:57:50
阅读次数：
197
#Python爬取网页的三种方法之一:使用urllib或者urllib2模块的getparam方法importurllibfopen1=urllib.urlopen(‘http://www.baidu.com‘).info()fopen2=urllib2.urlopen(‘http://www.sina.com‘).info()printfopen1.getparam(‘charset‘)printfopen2.getparam(‘charset‘)#----有些..
分类：
编程语言 时间：
2016-10-22 01:09:26
阅读次数：
693
最近遇到爬取网页乱码的情况，找了好久找到了种解决的办法： 头文件中添加： ...
分类：
编程语言 时间：
2016-10-20 17:45:42
阅读次数：
190
现阶段网络爬虫的工具主要是有scrapy、selenium（第二版）等。总的来说各有好处，scrapy最大
的好处是爬取的速度快而selenium的好处是能爬去的网站种类多。详细点的解释是：scrapy在爬取网页时不
用点击开页面(selenium似乎需要页面全部加载完才可以查找定位)，selenium可以爬..
分类：
其他好文 时间：
2016-10-17 23:41:30
阅读次数：
150
本篇从实际出发，展示如何用网页爬虫。并介绍一个流行的爬虫框架~ 1. 网页爬虫的过程 所谓网页爬虫，就是模拟浏览器的行为访问网站，从而获得网页信息的程序。正因为是程序，所以获得网页的速度可以轻易超过单身多年的手速：)。通常适用于需要大量网页信息的场合。 爬取网页的流程为：访问初始url -> 获得返 ...
分类：
Web程序 时间：
2016-10-14 23:16:48
阅读次数：
189
爬虫 python3爬取网页资源方式(1.最简单： 'wd''python''opt-webpage''on''ie''gbk'GET和POST请求的不同之处是POST请求通常有"副作用" 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)''User-A ...
分类：
编程语言 时间：
2016-10-13 14:54:07
阅读次数：
186
原地址：http://www.cnblogs.com/twinsclover/archive/2012/04/26/2471704.html 序言 之前用python爬取网页的时候，一直用的是regex或者自带的库sgmllib里的SGMLParser。但是遇到复杂一点的情况时，SGMLParser ...
分类：
编程语言 时间：
2016-09-29 20:58:12
阅读次数：
212
rvest和downloader packages爬取网页中的图片到本地！ ...
分类：
Web程序 时间：
2016-09-04 23:45:21
阅读次数：
233
介绍一个简单的python爬虫，通过Tkinter创建一个客户端，当输入要查询的LOL用户名称的时候，可以显示出当前用户的所在服务器，当前战力和当前段位。 爬取网页地址：http://lol.duowan.com/zdl/ python版本：2.7 需要用到的模块：Tkinter urllib2 j ...
分类：
编程语言 时间：
2016-08-22 09:28:09
阅读次数：
590
