前情提要: 一:scrapy 爬取妹子网 全站 知识点: scrapy回调函数的使用 二: scrapy的各个组件之间的关系解析 三:post 的scrapy的使用 四:首页详情页的数据连续爬取 ...
分类：
其他好文 时间：
2019-06-01 09:58:47
阅读次数：
156
1.scrapy:爬虫框架 -框架:集成了很多功能且具有很强通用性的一个项目模板 -如何学习框架:(重点:知道有哪些模块,会用就行) -学习框架的功能模板的具体使用. 功能:(1)异步爬取(自带buffer) (2)高性能的数据解析+持久化存储操作. 2.scrapy环境安装: 3.scrapy数据 ...
分类：
其他好文 时间：
2019-05-31 23:17:31
阅读次数：
110
一.爬虫数据解析的流程 1.指定url 2.基于requests模块发起请求 3.获取响应中的数据 4.数据解析 5.进行持久化存储 二.解析方法 (1)正则解析 (2)bs4解析 (3)xpath解析 1. 正则解析 常用正则表达式 正则使用练习: 应用: 爬取糗事百科指定页面的糗图，并将其保存到 ...
分类：
编程语言 时间：
2019-05-29 17:57:08
阅读次数：
128
爬虫可以简单分为三步骤：请求数据、解析数据和存储数据 。主要的一些工具如下： 请求相关 request 一个阻塞式http请求库。 Selenium Selenium是一个自动化测试工具，可以驱动浏览器执行特定的动作，如点击，下拉等操作。对于一些javascript渲染的页面，这种抓取方式非常有效。 ...
分类：
编程语言 时间：
2019-05-26 00:29:21
阅读次数：
135
目前darknet框架下的模型训练都是在C环境下训练的，难免较为晦涩，如果能将模型转换到Tensorflow环境下完成模型的训练，在将训练好的权重转为Darknet可以识别的权重部署到实际应用中。这样就可以将算法的训练和实际部署分开！ 1、将Darknet框架下的.cfg与.weights 转为Te ...
分类：
Web程序 时间：
2019-05-16 11:03:31
阅读次数：
895
数据解析的原理 1.实现标签的定位 2.将标签中的存储的文本内容或者相关的属性值进行提取 正则 ...
分类：
其他好文 时间：
2019-05-11 16:21:30
阅读次数：
114
需求:将前些日子采集的评论存储到hbase中 思路: 先用fastjson解析评论,然后构造rdd,最后使用spark与phoenix交互,把数据存储到hbase中 部分数据: 1 [ 2 { 3 "referenceName": "Apple iPhone XR 64GB 黑色 移动联通电信4G全 ...
分类：
编程语言 时间：
2019-05-04 20:11:08
阅读次数：
223
一、爬虫基本步骤 指定URL信息 发起请求 获取响应数据 对响应数据进行数据解析 持久化存储 二、数据解析 1. 正则表达式 (1) 基本语法 (2) 相关案例 2. Beautifulsoup (1) 环境安装 (2) 基础使用 3. xpath (1) 选取节点 | 表达式 | 描述 | | | ...
分类：
其他好文 时间：
2019-04-29 21:21:00
阅读次数：
184
现在正在搞一个具有层级结构的数据存储，因为数据只存在一对多关系，因此使用外键联合这种形式 具体地，就是一个部门下有部门以及车辆，这就是一种层级结构，设计的就是一对多，主键外键链接，当从服务端拿到数据解析的时候分别更新部门和车辆，更新的同时将他们的对应关系做好，如果之后有新增车辆或者部门的话，那么就首 ...
分类：
数据库 时间：
2019-04-20 19:48:03
阅读次数：
153
Flutter网络请求使用的是Dio。Dio是一个强大易用的dart http请求库，支持Restful API、FormData、拦截器、请求取消、Cookie管理、文件上传/下载… Flutter json数据解析是使用了json_serializable package包。它是一个自动化源代码 ...
分类：
其他好文 时间：
2019-04-18 23:19:56
阅读次数：
249
