帮同学做一个关于爬取教授邮箱的任务，在百度搜索中输入教授的名字+长江学者+邮箱，爬取并筛选每个教授的邮箱，最后把邮箱信息写入到Excel表中：--爬取结果争取率大概在50%-60% 大致思路如下： 先利用百度搜索关键词（不断转换关键词，效果会不一样） 利用BeautifulSoup解析到百度搜索的h ...
分类：
其他好文 时间：
2017-12-24 14:42:31
阅读次数：
445
本章将从Python案例讲起：所使用bs4做一个简单的爬虫案例，更多内容请参考: "Python学习指南" 案例：使用BeautifulSoup的爬虫 我们已腾讯社招页面来做演示：http://hr.tencent.com/position.php?&start=10 a 使用BeautifulSo ...
分类：
编程语言 时间：
2017-12-20 04:04:12
阅读次数：
263
这里面通过爬虫github上的一些start比较高的python项目来学习一下BeautifulSoup和pymysql的使用。我一直以为山是水的故事，云是风的故事，你是我的故事，可是却不知道，我是不是你的故事。 github的python爬虫 爬虫的需求：爬取github上有关python的优质项 ...
分类：
编程语言 时间：
2017-12-19 15:19:47
阅读次数：
226
TypeError: object of type 'Response' has no len() 我在写爬虫的时候，通过requests获取到了网址的html文件，一开始是用content保存下来的，当我用这个格式传给beautifulsoup解析的时候编译器就报错了，因为content返回的是b ...
分类：
其他好文 时间：
2017-12-16 18:42:59
阅读次数：
100
今天使用requests和BeautifulSoup爬取了一些图片，还是很有成就感的，注释可能有误，希望大家多提意见 ...
分类：
编程语言 时间：
2017-12-14 04:15:23
阅读次数：
106
https://www.crummy.com/software/BeautifulSoup/bs4/doc/index.zh.html ...
分类：
其他好文 时间：
2017-12-08 14:22:56
阅读次数：
97
摘自 http://www.cnblogs.com/twinsclover/archive/2012/04/26/2471704.html 序言 之前用python爬取网页的时候，一直用的是regex或者自带的库sgmllib里的SGMLParser。但是遇到复杂一点的情况时，SGMLParser往 ...
分类：
编程语言 时间：
2017-12-08 01:23:21
阅读次数：
219
一、功能： BeautifulSoup是用来从HTML或XML中提取数据的Python库。 二、导入： from bs4 import BeautifulSoup import bs4 三、编码格式： soup使用Unicode编码 四、对象种类： 有四种类型：Tag，NavigableString ...
分类：
编程语言 时间：
2017-12-07 21:14:06
阅读次数：
148
事情 记得昨儿还是什么时候，反正是以前，肯定安装过BeautifulSoup，只不过当初可能用的是 ，这是Python2的安装。然而用Python3运行BeautifulSoup的时候报错，只能用一次Python3安装。 解决 还报错，说不能创建目录。猜想应该是权限问题，在前面加 即可! ...
分类：
编程语言 时间：
2017-12-07 00:33:51
阅读次数：
163
使用的知识： 1.网页解析BeautifulSoup标签的获得，标签内容的获取。 2.正则表达式的使用，提取url的时间。 3.数据存储，写入 4.意外情况的处理。 5.时间的记录 ...
分类：
其他好文 时间：
2017-12-06 18:00:14
阅读次数：
393
