开发环境 1.在官网下载并且安装python 2.7 2. Python | 开发环境IDE PyCharm配置 3谷歌浏览器 4.爬虫框架Scrapy 地址:https://sourceforge.net/projects/pywin32/ 其它可能依赖的安装包：lxml-3.6.4-cp27-c ...
分类：
其他好文 时间：
2017-11-06 12:40:37
阅读次数：
138
环境：python2.7安装lxml模块pipinstalllxml例子：fromlxmlimportetree
text=‘‘‘
<div>
<ul>
<liclass="item-0"><ahref="link1.html">firstitem</a></li>
<liclass="item-1"><ahref="link2.html">seconditem</a></li..
分类：
编程语言 时间：
2017-10-27 10:25:04
阅读次数：
232
爬虫 Scrapy框架，不只是一条命令： pip3 install scrapy，所能完成的。 (所在环境 Python3) Scrapy依赖的库比较多，至少需要依赖库有Twisted ，lxml ，pyOpenSSL 。而在不同平台环境又各不相同，所以在安装之前最好确保把一些基本库安装好。 Win ...
分类：
编程语言 时间：
2017-10-25 15:25:45
阅读次数：
226
编程模块：requests,lxml，pymongo，time，BeautifulSoup 首先获取所有产品的分类网址： 复制代码 1 def step(): 2 try: 3 headers = { 4 。。。。。 5 } 6 r = requests.get(url,headers,time..... ...
分类：
其他好文 时间：
2017-10-25 15:25:00
阅读次数：
136
如果仅仅因为想要查找文档中的<a>标签而将整片文档进行解析,实在是浪费内存和时间.最快的方法是从一开始就把<a>标签以外的东西都忽略掉. SoupStrainer 类可以定义文档的某段内容,这样搜索文档时就不必先解析整篇文档,只会解析在 SoupStrainer 中定义过的文档. 创建一个 Soup ...
分类：
编程语言 时间：
2017-10-25 00:55:50
阅读次数：
180
html---显示数据 xml ---传输数据 lxml 库 --- etree --xpath ==== path helper 工具辅助解析 from lxml import etree # 版本问题 有时候 不能 import lxml 后 不能使用lxml.etree xml=etree.H... ...
分类：
其他好文 时间：
2017-10-22 21:19:17
阅读次数：
251
import requests from lxml import etree import urllib url = 'http://www.ivsky.com/tupian/ziranfengguang/' def Schedule(blocknum,blocksize,totolsize): p... ...
分类：
其他好文 时间：
2017-10-22 21:19:08
阅读次数：
131
http://blog.csdn.net/jesse_mx/article/details/53606897 Ubuntu源码安装 由于Ubuntu系统自带python，这款软件在Ubuntu环境下的安装是最方便的。软件要求python版本在2.6以上，同时需要PyQt和lxml的支持。 使用方法 ...
分类：
其他好文 时间：
2017-10-20 18:36:53
阅读次数：
154
python3.5 先安装库或者扩展 1 requests第三方扩展库 2 pymysql 3 lxml 4 贴个代码 5 运行这个代码 ptyhon demo3.py 6 看看运行的结果 7 数据库里面看看结果 支持完成，成功，等会抓个别的例子 练练手 ...
分类：
数据库 时间：
2017-10-17 15:37:57
阅读次数：
270
