学习目标 创建一个Scrapy项目 定义提取的结构化数据(Item) 编写爬取网站的 Spider 并提取出结构化数据(Item) 编写 Item Pipelines 来存储提取到的Item(即结构化数据) 一. 新建项目(scrapy startproject) 在开始爬取之前，必须创建一个新的S ...
分类：
其他好文 时间：
2018-04-01 20:52:22
阅读次数：
408
Spider Spider类定义了如何爬取某个(或某些)网站。包括了爬取的动作(例如:是否跟进链接)以及如何从网页的内容中提取结构化数据(爬取item)。 换句话说，Spider就是您定义爬取的动作及分析某个网页(或者是有些网页)的地方。 class scrapy.Spider是最基本的类，所有编写 ...
分类：
其他好文 时间：
2018-04-01 20:50:49
阅读次数：
179
mysql适合结构化数据，类似excel表格一样定义严格的数据，用于数据量中，速度一般支持事务处理场合。redis适合缓存内存对象，如缓存队列，用于数据量小，速度快不支持事务处理高并发场合。mongodb，适合半结构化数据，如文本信息，用于数据量大，速度较快不支持事务处理场合。hadoop是个生态系统，上面有大数据分析很多组件，适合事后大数据分析任务。spark类似hadoop，偏向于内存计算，流
分类：
数据库 时间：
2018-03-23 18:21:37
阅读次数：
270
数据类型：结构化数据：结构化数据即行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据非结构化数据：包括所有的办公文档、文本、图片、xml、html、各类报表、图像和音频视频信息等等，相对于结构化数据而言，不方便用逻辑表来表现的数据；非结构化数据库是指其字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库，用它不仅可以处理结构化数据而且更适合处理非结构化数据；半结构
分类：
系统相关 时间：
2018-03-22 15:03:13
阅读次数：
302
XML可扩展标记语言，用于标记电子文件使其具有结构性的标记语言，可以用来标记数据，定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。 XML适合用于web传输，XML提供统一的方法来描述和交换独立于应用程序或供应商的结构化数据。 XML的工作原理即服务器解析与客户端解析。 http:// ...
分类：
编程语言 时间：
2018-03-19 00:28:21
阅读次数：
195
1.xml的定义及用途： （1）定义：xml（中文名称：可扩展标记语言）是一种用于标记电子文件使其具有结构性的标记语言。 （2）用途：它可以用来标记数据、定义数据类型，是一种允许用户对自己的标记语言进行定义的源语言。 它非常适合万维网传输，提供统一的方法来描述和交换独立于应用程序或供应商的结构化数据 ...
分类：
其他好文 时间：
2018-03-18 13:54:09
阅读次数：
120
1.hbase 的特点是什么 (1) Hbase一个分布式的基于列式存储的数据库,基于Hadoop的hdfs存储，zookeeper进行管理。 (2) Hbase适合存储半结构化或非结构化数据，对于数据结构字段不够确定或者杂乱无章很难按一个概念去抽取的数据。 (3) Hbase为null的记录不会被 ...
分类：
其他好文 时间：
2018-03-15 21:01:24
阅读次数：
223
1 基本 redis是key-value的内存数据库，支持定期把数据刷入磁盘，以实现持久化。由于是内存型的，所以并发能力相比磁盘数据库更加优秀。并且redis提供丰富的结构化数据类型。有strings，set，zset，hash。（memcache不支持持久化，并且数据类型单一） 2 安装启动 安装 ...
分类：
其他好文 时间：
2018-03-15 15:16:51
阅读次数：
216
json介绍： json(javascript object notation)全称是javascript对象表示法，它是一种数据交换的文本格式，而不是一种编程语言，用于读取结构化数据。2001年由Douglas Crockford提出，目的是取代繁琐笨重的XML格式。 下面介绍的语法规则是在js中 ...
分类：
Web程序 时间：
2018-03-12 21:04:28
阅读次数：
234
JSON 关于JSON，最重要的一点是理解它是一种数据格式，不是编程语言。 一、语法 JSON 不支持变量、函数或对象实例，它就是一种表示结构化数据的格式，虽然与 JavaScript 中表示数据的某些语法相同，但它并不局限于 JavaScript 的范畴。 JSON语法可以表示下列三种类型的值： ...
分类：
编程语言 时间：
2018-03-12 01:09:06
阅读次数：
158
