技术选型： Scrapy vs requsts+beautifulsoup 1,reqests,beautifulsoup都是库，Scrapy是框架 2,Scrapy中可以加入requests beautifulsoup 3,Scrapy基于twisted，异步IO框架，性能最大的优势 4,Scra ...
分类：
其他好文 时间：
2017-05-13 18:04:54
阅读次数：
169
四大对象种类 Beautiful Soup将复杂HTML文档转换成一个复杂的树形结构,每个节点都是Python对象,所有对象可以归纳为4种: ...
分类：
其他好文 时间：
2017-05-13 15:24:23
阅读次数：
160
遍历文档树： 1、查找子节点 .contents tag的.content属性可以将tag的子节点以列表的方式输出。 print soup.body.contents print type(soup.body.contents) 运行结果： [u'\n', <p class="title" name ...
分类：
其他好文 时间：
2017-05-12 22:25:53
阅读次数：
225
BeautifulSoup官方介绍文档：https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html 四大对象种类： BeautifulSoup 将复杂的html文件转换成一个复杂的树形结松，每个节点都是python对象。 所 ...
分类：
其他好文 时间：
2017-05-12 18:58:17
阅读次数：
350
beautifulsoup 获取特定html源码import refrom bs4 import BeautifulSoupimport urllib2url = 'http://www.cnblogs.com/vickey-wu/'# connect to a URLweb = urllib2.u ...
分类：
编程语言 时间：
2017-05-12 01:37:42
阅读次数：
208
导入Beautifulsoup 报错 AttributeError: 'module' object has no attribute '_base' 解决方法： pip install --upgrade beautifulSoup4 pip install --upgrade html5lib ...
分类：
编程语言 时间：
2017-05-12 00:14:03
阅读次数：
127
学完Requests库与Beautifulsoup库我们今天来实战一波，爬取网页图片。依照现在所学只能爬取图片在html页面的而不能爬取由JavaScript生成的图。所以我找了这个网站http://www.ivsky.com 网站里面有很多的图集，我们就找你的名字这个图集来爬取 http://ww ...
分类：
编程语言 时间：
2017-05-10 22:25:51
阅读次数：
354
1 lines (8 sloc) 333 Bytes 2 from urllib.request import urlopen 3 from bs4 import BeautifulSoup 4 5 html = urlopen("http://en.wikipedia.org/wiki/Pytho... ...
分类：
其他好文 时间：
2017-05-08 21:51:21
阅读次数：
137
import codecs from xml.dom.minidom import Document import requests from bs4 import BeautifulSoup doc = Document() def getAllUrl(pageCount): url='https... ...
分类：
编程语言 时间：
2017-05-07 12:55:47
阅读次数：
163
1、将请求网上资源： 这里面使用requests的get方法来获取html，具体是get还是post等等要通过网页头信息来查询： 比如百度的方法就是可以利用get得到。 2、将得到的网页利用BeautifulSoup进行剖析 这里面需要注意的是结点的问题，在查看网页的源代码的时候要分清信息存储的位置 ...
分类：
编程语言 时间：
2017-05-07 10:07:39
阅读次数：
367
