BeautifulSoup是一个模块，该模块用于接收一个HTML或XML字符串，然后将其进行格式化，之后遍可以使用他提供的方法进行快速查找指定元素，从而使得在HTML或XML中查找指定元素变得简单。 from bs4 import BeautifulSoup html_doc = """ <html ...
分类：
其他好文 时间：
2017-11-04 20:38:17
阅读次数：
113
#encoding=utf8import urllibimport urllib2import sys sys.path.append('D:/python/beautifulsoup')sys.path.append('C:/Python27/Lib/site-packages')from bs4 ...
分类：
编程语言 时间：
2017-11-04 13:24:55
阅读次数：
254
import urllibimport sys sys.path.append('D:/python/beautifulsoup')sys.path.append('C:/Python27/Lib/site-packages')from bs4 import BeautifulSoupimport ...
分类：
其他好文 时间：
2017-11-04 13:17:47
阅读次数：
175
应课程需要写了几天爬虫，一开始使用requests+bs4的技术路线，但是速度不是很理想而且不能暂停，通过查阅资料，发现scrapy正是我需要的 做一下简短的记录： 首先应该毫不犹豫的scrapy startproject gnspider;scrapy genspider gnspider htt ...
分类：
其他好文 时间：
2017-11-04 11:08:38
阅读次数：
742
一、抓取商品id 分析网页源码，发现所有id都是在class=“gl-item”的标签里，可以利用bs4的select方法查找标签，获取id： 获取id后，分析商品页面可知道每个商品页面就是id号不同，可构造url： 将获取的id和构造的url保存在列表里，如下源码： 二、获取商品信息 通过商品页面 ...
分类：
其他好文 时间：
2017-11-02 22:29:51
阅读次数：
409
1.掌握python的基本语法知识2.学会如何抓取HTML页面: HTTP请求的处理:urlib、urlib2及requests(reqests对urllib和urllib2进行了封装 ，功能相当于二者的和) 处理后的请求可以模拟浏览器发送的请求，获取浏览器的响应3.解析服务器响应的内容: re、xpath、BeautifulSoup4(bs4)、j..
分类：
编程语言 时间：
2017-11-02 11:23:05
阅读次数：
146
import re import json import time import requests from bs4 import BeautifulSoup tm_headers = { "scheme": "https", "Connection": "keep-alive", "Upgrade... ...
分类：
移动开发 时间：
2017-11-01 19:36:08
阅读次数：
193
1.选取的是4399小游戏的网址http://www.4399.com/gamehw.htm 2.网络上爬取的相关数据 import requests from bs4 import BeautifulSoup def get(gameurl): res = requests.get(gameurl ...
分类：
其他好文 时间：
2017-11-01 16:30:57
阅读次数：
201
《 对广州商学院新闻网中的国内动态新闻栏目进行爬取》 在前不久十九大刚召开完毕，国家主席做了重要讲话并提出不少新的国家政策，因此我提取了我校内过去的新闻页面，网址为（http://news.gzcc.cn/html/gnyw/index.html）。 import requests from bs4 ...
分类：
其他好文 时间：
2017-11-01 13:29:47
阅读次数：
118
1.选一个自己感兴趣的主题。最近好多人和我说要去旅游，我就想自己家这边有什么吸引人的地方呢？ 2.网络上爬取相关的数据，截取网站的标题以及来源。 import requestsfrom bs4 import BeautifulSoupres=requests.get('http://trips.tu ...
分类：
其他好文 时间：
2017-11-01 01:02:13
阅读次数：
178
