原 JSON三种数据解析方法 2018年01月15日 13:05:01 zhoujiang2012 阅读数：7896 原 JSON三种数据解析方法 2018年01月15日 13:05:01 zhoujiang2012 阅读数：7896 原 JSON三种数据解析方法 JSON三种数据解析方法 2018 ...
分类：
Web程序 时间：
2019-04-18 17:04:28
阅读次数：
183
简介 ? Scrapy一个开源和协作的框架，其最初是为了页面抓取所设计的，使用它可以以快速、简单、可扩展的方式从网站中提取所需的数据。但目前Scrapy的用途十分广泛，可用于如数据挖掘、监测和自动化测试等领域，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Se ...
分类：
其他好文 时间：
2019-04-17 15:07:41
阅读次数：
108
一、解析器的作用 根据请求头 content-type 选择对应的解析器对请求体内容进行处理，将传过来的数据解析成字典 二、使用解析器 1、局部使用 在视图类中重定义parser_classes即可，默认能够解析formdata、urlencoded、json格式的数据 2、全局使用 在settin ...
分类：
其他好文 时间：
2019-04-17 00:01:24
阅读次数：
181
[TOC] 04. 三种数据解析方式 回顾requests实现数据爬取的流程: 1. 指定url 1. 基于requests模块发起请求 1. 获取响应对象中的数据 1. 进行持久化存储 其实，在上述流程中还需要较为重要的一步，就是在持久化存储之前需要进行指定数据解析。因为大多数情况下的需求，我们都 ...
分类：
其他好文 时间：
2019-04-07 22:05:53
阅读次数：
229
需求 将HDFS上的数据解析出来，然后通过hfile方式批量写入Hbase（需要多列写入） 写入数据的关键api： 特殊地方： 1）： 最初写hfile警告??： 这个原因大概3种： A：代码问题 B：数据源问题 C：setMapOutputKeyClass 和 saveAsNewAPIHadoop ...
分类：
其他好文 时间：
2019-03-26 22:30:17
阅读次数：
379
在网上看了很多方法，整合了一下比较适合现在使用的。刚刚开始弄flutter，很多东西都不懂，以前也没有做过移动开发，很是懵逼 pubspec.yaml中添加需要的包 那么接下来就是使用，在对应的界面中，添加一下代码：//贴出了主要的代码，后面的使用 就看具体情况啦 在这之前，有大佬告诫过我，flut ...
分类：
Web程序 时间：
2019-03-22 18:53:59
阅读次数：
883
介绍 基于GET请求 带参数的GET请求->params 带参数的GET请求->headers 带参数的GET请求->cookies 基于POST请求 发送post请求，模拟浏览器的登录行为 补充 响应Response response属性 编码问题 获取二进制数据 解析json Redirecti ...
分类：
其他好文 时间：
2019-03-12 21:07:41
阅读次数：
193
这是我第一次在这写博客，还是有点兴奋。 我也是刚接触Python不久，发现Python代码真的很强大，简单就可以处理复杂的事。最近很想写个爬虫，但水平没达到，正好CSDN学院有个公开课，黄勇老师讲的《90分钟掌握Python多线程爬虫（全程实战）》，3月6日晚20:00我听了直播，当时没跟上，等看了 ...
分类：
其他好文 时间：
2019-03-11 13:21:26
阅读次数：
163
数据解析： xpath在爬虫中的使用流程 常用的xpath表达式： tip ： //双斜杠是相对路径，指的是当前页面的所有，比如//a 获取所有的a标签 ，/单斜杠是绝对路径，指的是直系子标签 属性定位： #找到class属性值为song的div标签 //div[@class="song"] 层级& ...
分类：
其他好文 时间：
2019-03-05 18:30:47
阅读次数：
256
一.正则表达式解析 常用正则表达式回顾： 单字符： . : 除换行以外所有字符 [] ：[aoe] [a-w] 匹配集合中任意一个字符 \d ：数字 [0-9] \D : 非数字 \w ：数字、字母、下划线、中文 \W : 非\w \s ：所有的空白字符包,括空格、制表符、换页符等等。等价于 [ \ ...
分类：
其他好文 时间：
2019-03-04 20:56:05
阅读次数：
369
