又是一个大晴天，因为马上要召开十九大，北京地铁就额外的拥挤，人贴人到爆炸，还好我常年挤地铁早已练成了轻功水上漂，挤地铁早已经不在话下。 励志成为一名高级测试工程师的我，目前还只是个菜鸟，难得有机会，公司辞职的爬虫大佬教了我下爬虫，故借此机会分享给那些小白， 此篇只是简单爬取了小说的标题，没有涉及到框 ...
分类：
其他好文 时间：
2017-10-16 12:23:33
阅读次数：
1751
配置scrapy环境 分别pip install Zope.Interface、Twisted、w3lib、lxml、pyOpenSSL、Scrapy 新建爬虫项目，pycharm运行 我的项目名称为RadioCrawl文件夹为 Paste_Image.png 新建main.pyfrom scrap ...
分类：
其他好文 时间：
2017-10-14 16:50:54
阅读次数：
275
前言 前面我们介绍了 BeautifulSoup 的用法，这个已经是非常强大的库了，不过还有一些比较流行的解析库，例如 lxml，使用的是 Xpath 语法，同样是效率比较高的解析方法。如果大家对 BeautifulSoup 使用不太习惯的话，可以尝试下 Xpath。 参考来源 lxml用法源自 l ...
分类：
编程语言 时间：
2017-10-12 19:22:42
阅读次数：
365
参考资料： http://cuiqingcai.com/1052.html http://cuiqingcai.com/2621.html http://www.cnblogs.com/jixin/p/5131040.html 完整代码： ...
分类：
其他好文 时间：
2017-10-03 23:26:05
阅读次数：
245
基于python3的实现，获取网页的基础技术：request、urllib、selenium；解析网页的基础技术：re正则表达式、BeautifulSoup、和lxml；储存技术：数据库或者表格。 python环境搭建： 1、pycharm； 2、anaconda，适合基础入门，自带很多包，则无需安 ...
分类：
编程语言 时间：
2017-09-29 17:52:04
阅读次数：
192
如果要使用python进行科学计算、数据分析等，一定要安装scipy、seaborn、numpy等等包。 但Windows下安装python的第三方库经常会出现问题。此前，已介绍过Windows下如何安装lxml，其实，这种安装方法也适合于其他无法通过pip或者IDE包管理工具进行安装的场景。 如果 ...
分类：
编程语言 时间：
2017-09-27 16:45:54
阅读次数：
157
# coding=utf-8import requestsimport timeimport osimport refrom lxml import etreeimport warningswarnings.filterwarnings("ignore")from Logger import Log ...
分类：
其他好文 时间：
2017-09-24 23:30:14
阅读次数：
1996
开发环境1.在官网下载并且安装python 2.72. Python | 开发环境IDE PyCharm配置3谷歌浏览器4.爬虫框架Scrapy地址:https://sourceforge.net/projects/pywin32/ 其它可能依赖的安装包：lxml-3.6.4-cp27-cp27m- ...
分类：
其他好文 时间：
2017-09-21 20:57:18
阅读次数：
151
用到模块有requests,BeautifulSoup4,lxml(BeautifulSoup基于这个解析，据说速度会快很多)，re(正则ps.只用到了一个compile函数) 介绍下思路: 创建Img文件夹，解析html标题为文件夹名称（创建在Img文件夹下）,利用Firefox模块Firehug ...
分类：
编程语言 时间：
2017-09-17 17:31:43
阅读次数：
201
说实话在0基础的情况下自己学习python确实有点吃力，可能是我笨了吧，废话不说上代码 1抓取各栏目的链接 ...
分类：
其他好文 时间：
2017-09-13 21:17:12
阅读次数：
157
