自学python网络爬虫，发现request比urllib还是要好用一些，因此利用request和BeautifulSoup来实现糗百的首页笑话的抓取。BeautifulSoup通过find和findAll以及利用正则表达式实现HTML对应模块的抓取，当然select也是一个不错的选择。下面是临时的 ...
分类：
编程语言 时间：
2016-10-28 22:31:08
阅读次数：
204
1 # -*- coding: utf-8 -*- 2 """ 3 Created on Wed Oct 12 16:48:33 2016 4 5 @author: fuzzier 6 """ 7 8 import requests 9 from bs4 import BeautifulSoup 1 ...
分类：
Web程序 时间：
2016-10-12 19:59:08
阅读次数：
223
BeautifulSoup支持大部分的CSS选择器 ,在Tag或BeautifulSoup对象的.select() 方法中传入字符串参数,即可使用CSS选择器的语法找到tag: soup.select("title") soup.select("p nth-of-type(3)") soup.sel ...
分类：
Web程序 时间：
2016-10-07 01:08:53
阅读次数：
215
原地址：http://www.cnblogs.com/twinsclover/archive/2012/04/26/2471704.html 序言 之前用python爬取网页的时候，一直用的是regex或者自带的库sgmllib里的SGMLParser。但是遇到复杂一点的情况时，SGMLParser ...
分类：
编程语言 时间：
2016-09-29 20:58:12
阅读次数：
212
用BeautifulSoup查找指定标签（元素）的时候，有几种方法： soup=BeautifulSoup(html) 1.soup.find_all(tagName)，返回一个指定Tag元素的列表 2.soup.select(selector)，返回一个指定Tag元素的列表，是非常好用的方法，它支 ...
分类：
其他好文 时间：
2016-09-28 22:29:40
阅读次数：
198
1.先下载pip https://pypi.python.org/pypi/pip 安装pip cd到路径 python setuo.py install 2.添加目录到环境变量中 xxx\Python35-32\Scripts 3.安装BeautifulSoup pip install Beaut ...
分类：
编程语言 时间：
2016-09-26 23:03:36
阅读次数：
192
BeautifulSoup中文文档：http://www.crummy.com/software/BeautifulSoup/bs3/documentation.zh.html BeautifulSoup下载：http://www.crummy.com/software/BeautifulSoup/ ...
分类：
编程语言 时间：
2016-09-24 11:48:26
阅读次数：
219
爬了14W数据,存入Mongodb,用Charts库展示统计结果,这里展示一个示意 模块1 获取分类url列表 from bs4 import BeautifulSoup import requests,pymongo main_url = 'http://bj.58.com/sale.shtml' ...
分类：
编程语言 时间：
2016-09-20 19:56:09
阅读次数：
224
python有很多内置的模块可以不安装使用，用起来非常方便，但是也有一些挺有用的非内置的模块不能直接使用，需要话费点力气手动安装。 进入python安装目录下的Scripts目录，查看是否有pip工具。为了避免出现一些未知错误，DOS窗口使用管理员权限打开。 使用pip工具安装，在python安装目 ...
分类：
编程语言 时间：
2016-09-14 01:39:25
阅读次数：
154
urllib是python3.x中提供的一系列操作的URL的库，它可以轻松的模拟用户使用浏览器访问网页. Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库.它能够通过你喜欢的转换器实现惯用的文档导航,查找,修改文档的方式.Beautiful Soup会帮你节省 ...
分类：
编程语言 时间：
2016-09-05 16:47:35
阅读次数：
732
