1、预期获取的资源的url2、下载url的html源文件(文本形式)3、从已下载的html源文件里获取标签或内容（bs4函数（python3））soup=BeautifulSoup#创建对象body=soup.body#html基本框架形式、格式data_main=body.find()#利用浏览器的审查元素对应内容（部分）fori,table_infoinenu..
分类：
其他好文 时间：
2017-08-23 23:01:16
阅读次数：
202
1 #encoding:UTF-8 2 import urllib 3 import urllib.request 4 import bs4 5 from bs4 import BeautifulSoup as bs 6 def test1(): 7 url = "http://www.stylus... ...
分类：
编程语言 时间：
2017-08-23 13:46:53
阅读次数：
250
1.修改网页头 用独自的py文件getheaders，随机返回header getheaders文件 ...
分类：
其他好文 时间：
2017-08-20 15:47:58
阅读次数：
187
主要用的是request和bs4,遇到最大的问题是目标站是gb2312编码,python3的编码虽然比2的处理要好得多但还是好麻烦， 最开始写的是用cookie模拟登陆,但是这个在实际使用中很麻烦，需要先登陆目标网站,然后把cookie复制下来拷贝到代码中...懒惰是 第一动力! 准备用火狐的htt ...
分类：
编程语言 时间：
2017-08-20 12:40:20
阅读次数：
711
功能：输入大学排名URL链接 输出：大学排名信息的屏幕输出（排名，大学名称，总分） 技术路线：requests-bs4 定向爬虫：进队输入的URL进行爬去，不扩展爬取。 确定是否是：动态脚本信息 找所需要的信息：ctrl+f，查找 确定有无robots协议：http://www.zuihaodaxu ...
分类：
其他好文 时间：
2017-08-16 17:25:00
阅读次数：
150
import urllib.requestfrom bs4 import BeautifulSoupfrom urllib.parse import urljoinfrom Cat.findLinks import get_linkfrom Cat.Load import Scheduleimpor ...
分类：
编程语言 时间：
2017-08-15 21:22:25
阅读次数：
163
这里是前章，我们做一下预备。之前太多事情没能写博客~。。 (此博客只适合python3x,python2x请自行更改代码) 首先你要有bs4模块 windows下安装:pip3 install bs4，如果你电脑有python2x和python3x的话,在python3x中安装bs4请已管理员的身份 ...
分类：
编程语言 时间：
2017-08-13 14:12:34
阅读次数：
181
import urllib.requestfrom bs4 import BeautifulSoup def get_link(page): # 寻找链接的href linkData = [] for page in page.find_all('td'): links = page.select( ...
分类：
编程语言 时间：
2017-08-12 16:08:55
阅读次数：
774
1.与Scrapy不同的是Beautiful Soup并不是一个框架，而是一个模块；与Scrapy相比，bs4中间多了一道解析的过程（Scrapy是URL返回什么数据，程序就接受什么数据进行过滤），bs4则在接收数据和进行过滤之间多了一个解析的过程，根据解析器的不同，最终处理的数据也有所不同，加上这 ...
分类：
编程语言 时间：
2017-08-11 22:03:47
阅读次数：
205
