一、爬虫基本原理 -爬虫全过程 1.发送请求 2.接收响应数据 3.解析并提取有价值的数据 4.保存数据二、Requests请求库 -get url headers cookies - post url headers cookies data 三、爬取校花网视频 1.通过主页解析提取详情页 2.通 ...
分类：
其他好文 时间：
2019-07-02 13:29:36
阅读次数：
92
数据解析，就是对网页源码数据的解析和清洗，获取自己想要的数据信息。 常用的数据解析有下面四种： 1.正则 2.bs4 3.xpath 4.pyquery 一： 正则：熟练使用正则表达式，对数据进行提取即可 二：BS4 解析原理: 1.实例化一个BeautifulSoup的一个对象,并且将即将被解析的 ...
分类：
Web程序 时间：
2019-06-30 12:35:40
阅读次数：
159
绑定回调函数,在爬虫中必须用回调函数,因为在数据爬取下来后,用回调函数可以进行数据解析 多任务异步协程 单线程+多任务异步 ...
分类：
编程语言 时间：
2019-06-17 00:54:33
阅读次数：
121
一个简单Flutter项目wanandroid，先前用Kotlin来开发过，适合新手练习。 用到的库 包含功能： http+数据解析 网络请求数据列表展示 Banner轮播 WebView跳转详情 Drawer侧滑个人中心 TabLayout ...... 效果图： 源码下载：https://git ...
分类：
移动开发 时间：
2019-06-14 23:41:40
阅读次数：
188
# 爬虫全过程：# 1.发送请求（请求库）# requests# selenium# 2.获取相应数据（服务器返回）# 3.解析并提取数据（解析库）# re正则# bs4（beautifulsoup4）# Xpath# 4.保存数据（存储库）# mongDB# 爬虫框架# Scrapy(基于面向对象... ...
分类：
编程语言 时间：
2019-06-14 20:04:01
阅读次数：
119
数据解析方式 - 正则 - xpath - bs4 数据解析的原理： 标签的定位 提取标签中存储的文本数据或者标签属性中存储的数据 正则 bs4解析 解析原理： 实例化一个Beautifulsoup的对象，且将页面源码数据加载到该对象中 使用该对象的相关属性和方法实现标签定位和数据提取 环境的安装： ...
分类：
编程语言 时间：
2019-06-12 19:29:52
阅读次数：
118
参考博客:https://www.cnblogs.com/cyycyhcbw/articles/10442399.html 聚焦爬虫:数据解析 数据解析原理: 标签定位 获取标签中的数据 python实现数据解析的方式: 正则 bs4 xpath pyquery ...
分类：
其他好文 时间：
2019-06-12 18:03:21
阅读次数：
93
第一种：xpath 使用流程： 本地：etree=etree.parse('本地文件路径') etree.xpath('xpath表达式') 网络：etree=etree.HTML('网络请求到的页面数据') etree.xpath('xpath表达式') 案例： test.html 练习： ...
分类：
其他好文 时间：
2019-06-09 09:50:05
阅读次数：
107
用Python构建一个简单tiny web server服务
分类：
Web程序 时间：
2019-06-04 19:08:47
阅读次数：
115
- scrapy:爬虫框架。异步爬取，高性能的数据解析+持久化存储操作，- 框架：集成了很多功能且具有很强通用性的一个项目模板- 如何学习框架： - 学习框架的功能模块的具体使用。- 环境的安装： a. pip3 install wheel b. 下载twisted http://www.lfd.u ...
分类：
其他好文 时间：
2019-06-03 21:32:55
阅读次数：
91
