一、python爬虫环境与简介 二、认识HTTP 三、简单静态网页爬取 四、常规动态网页爬取 五、模拟登陆 六、PC客户端抓包 七、Scrapy爬虫 一、python爬虫环境与简介 1、认识爬虫 （1）爬虫的概念 网络爬虫也被称为网络蜘蛛、网络机器人，是一个自动下载网页的计算机程序或自动化脚本。 网 ...
分类：
编程语言 时间：
2020-07-25 09:28:47
阅读次数：
66
案例一：解析出全国所有城市名称代码如下：importrequestsfromlxmlimportetreeif__name__=="__main__":headers={‘User-Agent‘:‘Mozilla/5.0(Macintosh;IntelMacOSX10_12_0)AppleWebKit/537.36(KHTML,likeGecko)Chrome/73.0.3683.103Safar
分类：
编程语言 时间：
2020-07-23 19:04:28
阅读次数：
103
聚焦爬虫:爬取页面中指定的页面内容。编码流程：1.指定url2.发起请求3.获取响应数据4.数据解析5.持久化存储数据解析分类：1.bs42.正则3.xpath(***)数据解析原理概述：解析的局部的文本内容都会在标签之间或者标签对应的属性中进行存储1.进行指定标签的定位2.标签或者标签对应的属性中存储的数据值进行提取（解析）bs4进行数据解析数据解析的原理：1.标签定位2.提取标签、标签属性中存
分类：
编程语言 时间：
2020-07-22 20:21:41
阅读次数：
68
案例：使用正则爬取糗图百科图片单页面的代码importreimportrequestsimportos#创建文件夹ifnotos.path.exists(‘./qiutu‘):os.mkdir(‘./qiutu‘)headers={‘user-agent‘:‘Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)‘‘C
分类：
编程语言 时间：
2020-07-22 16:05:52
阅读次数：
79
页面解析和数据提取 一般来讲对我们而言，需要抓取的是某个网站或者某个应用的内容，提取有用的价值。内容一般分为两部分，非结构化的数据 和 结构化的数据。 非结构化数据：先有数据，再有结构，（http://www.baidu.com） 结构化数据：先有结构、再有数据（https://www.qiushi ...
分类：
编程语言 时间：
2020-07-21 13:36:53
阅读次数：
73
爬虫需求1.你是否在夜深人静的时候，想看一些会让你更睡不着的图片却苦于没有资源？2.你是否在节假日出行高峰的时候，想快速抢购火车票成功？3.你是否在网上购物的时候，想快速且精准的定位到口碑质量最好的商品？爬虫简介通过编写程序，模拟浏览器上网，然后让其去互联网上抓取数据的过程。爬虫的价值抓取互联网上的数据，为我所用，有了大量的数据，就如同有了一个数据银行一样，下一步做的就是如何将这些爬取的数据产品化
分类：
编程语言 时间：
2020-07-21 11:43:41
阅读次数：
82
1.正则表达式的简介 1.1 概念 正则表达式是对字符串操作的一种逻辑公式，就是用事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符串”，这个“规则字符串”用来表达对字符串的一种过滤逻辑 1.2 正则表达式的应用场景 表单验证(例如 : 手机号、邮箱、身份证.... ) 爬虫 2. ...
分类：
编程语言 时间：
2020-07-20 15:43:06
阅读次数：
92
# 此为获取东航登录时的token（经分析js得出此token存储于localstorage中） browser = webdriver.Chrome(executable_path='xxxx')browser.get('https://passport.ceair.com/?redirectUr ...
分类：
编程语言 时间：
2020-07-18 22:36:19
阅读次数：
166
Python爬虫部分由结对的郑磊完成。 前端利用改自eChart的工具类，用它提供的方法绘制热词云图。由于该工具类本身接收JSON进行绘制，而我们出于简单采用Stack将封装的结果传至页面，故在页面上用Java脚本和JavaScript现场封装了一个JSON提供给绘图接口。利用给定的点击事件接口合成 ...
分类：
其他好文 时间：
2020-07-18 22:28:26
阅读次数：
71
Python爬虫学习使用urllib3抓点网页数据并查找匹配。 ...
分类：
编程语言 时间：
2020-07-18 19:54:57
阅读次数：
63
