# coding:utf8 from bs4 import BeautifulSoup import re html_doc = """ The Dormouse's story The Dormouse's story Once upon a time there were three littl... ...
分类：
编程语言 时间：
2016-06-10 14:56:35
阅读次数：
177
Beautiful Soup，字面意思是美好的汤，是一个用于解析HTML文件的Python库 windows下载和安装 在Windows下面如何安装Beautiful Soup: 1.到http://www.crummy.com/software/BeautifulSoup/网站上上下载 2.下载完 ...
分类：
编程语言 时间：
2016-06-08 23:01:17
阅读次数：
281
pyspider：http://demo.pyspider.org/ CSS选择器：http://www.w3school.com.cn/cssref/css_selectors.asp Beautiful Soup：http://beautifulsoup.readthedocs.io/zh_CN ...
分类：
其他好文 时间：
2016-06-08 10:22:35
阅读次数：
376
环境 操作系统：CentOS 6.7 32-bit Python版本：2.6.6 第三方插件 selenium PhantomJS BeautifulSoup 代码 ...
分类：
Web程序 时间：
2016-06-06 16:27:58
阅读次数：
311
用正常的方式（selenium、PhantomJS、BeautifulSoup）爬取淘女郎相册不仅困难，效率很低，而且很容易卡死。 我通过谷歌浏览器的开发者工具找出每个页面的规律，快速获取每张照片的链接，再下载，这样效率就很高了。 过程 首页很简单，没有采用JS渲染，直接用requests就能获取完 ...
分类：
其他好文 时间：
2016-06-06 13:53:55
阅读次数：
336
序
我的Python3爬虫（五）博文使用utllib基本函数以及正则表达式技术实现了爬取csdn全部博文信息的任务。
链接：Python3 爬虫（五） -- 单线程爬取我的CSDN全部博文
上一篇，我们学习了BeautifulSoup这样一个优秀的Python库，必须有效利用起来。那么我们就利用BeautifulSoup4重新实现一次爬取csdn博文的任务。
由于我修改了博客配置，...
分类：
编程语言 时间：
2016-06-02 13:57:14
阅读次数：
254
素闻BeautifulSoup提取效率低，艾玛，第一印象果然是很要命的，反正比Re 和 Lxml 是要慢的，不过就无奈Re的正则折腾来折腾去，没写出来，Lxml 的 Xpath 又用得不好。 不过就这三个模版来看，BeautifulSoup的表现还是不错的，够简单，顺便测试了一下时间，抓10个列表页 ...
分类：
其他好文 时间：
2016-06-01 23:02:59
阅读次数：
340
cookie 字典 是浏览器开发者工具上复制的 用了 beautifulsoup 21行地址是开发者工具 找到元素位置 然后 copy selector ，复制下来进行一点简单处理 接下来就很简单了 但是还是不会用账号密码直接登录 （即使vijos 不需要验证码 ） 以后会了再写一篇吧 ...
分类：
其他好文 时间：
2016-05-26 21:48:27
阅读次数：
245
本文介绍下pdf页面的爬取，需要借助pdfminer模块 demo一般流程： 1）设置url 2)requests模块获取url 3）写入.pdf文件 4)引入pdfminer模块 5）BeautifulSoup解析html 未完待续，先睡觉，pdfminer把pdf页面解析成html页面，然后be ...
分类：
其他好文 时间：
2016-05-21 01:20:51
阅读次数：
631
爬取html页面，有时需要设置参数post方式请求，生成json，保存文件中。 1）引入模块 2）设置参数 3）post请求 4）设置编码 5）BeautifulSoup解析request请求 6）find_all筛选 7）css选择select beautifulsoap的API请查看 https ...
分类：
Web程序 时间：
2016-05-20 23:55:27
阅读次数：
394
