一.正则表达式解析 常用正则表达式回顾： Xpath解析 测试页面数据 ...
分类：
其他好文 时间：
2019-01-22 14:16:21
阅读次数：
176
解析器 解析器的作用 解析器的作用就是服务端接收客户端传过来的数据，把数据解析成自己可以处理的数据。本质就是对请求体中的数据进行解析。 在了解解析器之前，我们要先知道Accept以及ContentType请求头。 Accept是告诉对方我能解析什么样的数据，通常也可以表示我想要什么样的数据。 Con ...
分类：
其他好文 时间：
2019-01-22 10:52:24
阅读次数：
156
我们要知道当我们在浏览器上输入url之后会发生什么？ 1.当我们输入url之后，先进行DNS解析为ip地址然后找到相对应的服务器, 2.建立与服务器连接，请求数据，这个过程就是（TCP的三次握手） 3.确认用户信息 ，找到相对应的资源库，返回相对应的页面(数据)，解析页面：css/js/img/ht ...
分类：
其他好文 时间：
2019-01-20 11:52:09
阅读次数：
205
DRF中的Request 在Django REST Framework中内置的Request类扩展了Django中的Request类，实现了很多方便的功能--如请求数据解析和认证等。 比如，区别于Django中的request从request.GET中获取URL参数，从request.POST中取某 ...
分类：
其他好文 时间：
2019-01-17 15:08:31
阅读次数：
180
DRF中的Request 在Django REST Framework中内置的Request类扩展了Django中的Request类，实现了很多方便的功能--如请求数据解析和认证等。 比如，区别于Django中的request从request.GET中获取URL参数，从request.POST中取某 ...
分类：
其他好文 时间：
2019-01-16 21:43:21
阅读次数：
286
解析器 解析器的作用 解析器的作用就是服务端接收客户端传过来的数据，把数据解析成自己可以处理的数据。本质就是对请求体中的数据进行解析。 在了解解析器之前，我们要先知道Accept以及ContentType请求头。 Accept是告诉对方我能解析什么样的数据，通常也可以表示我想要什么样的数据。 Con ...
分类：
其他好文 时间：
2019-01-14 20:12:51
阅读次数：
135
拦截器 一、需求的产生 因生产需求，要将kafka中的数据上传至hdfs，所以计划部署flume来完成。 ? 1.需要将kafkaSource中的json数据解析成需要的数据格式，落地至hdfs，供hive加载，所以此处需要自定义拦截器，对event.body进行逻辑解析。 ? 2.同时因为不同ka ...
分类：
Web程序 时间：
2019-01-12 12:04:42
阅读次数：
217
什么是爬虫? 网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 其实通俗的讲就是通过程序去获取web页面上自己想要的数据，也就是自动抓取数据 爬 ...
分类：
编程语言 时间：
2019-01-10 22:53:34
阅读次数：
184
回顾requests实现数据爬取的流程 指定url 基于requests模块发起请求 获取响应对象中的数据 进行持久化存储 其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都会指定去使用聚焦爬虫，也就是爬取页面中指定部分的数据值，而不是整 ...
分类：
其他好文 时间：
2019-01-10 21:46:21
阅读次数：
201
1. BeautifulSoup Beautiful Soup是一个可以从HTML，XML进行提取文件的Python库，日常我们使用爬虫进行数据抓取回来之后，往往需要进行数据解析。 使用它能让你开心愉快提取里面的爬回来的数据。 2. Arrow 用过datetime标准库的同学都知道，这个库每次需要 ...
分类：
编程语言 时间：
2019-01-10 20:00:26
阅读次数：
222
