xml.etree.ElementTree模块 Element类型是一种灵活的容器对象，用于在内存中存储结构化数据。 xml.etree.ElementTree模块在应对恶意结构数据时显得并不安全。 每个element对象都具有以下属性： 1. tag：string对象，表示数据代表的种类。 2. ...
分类：
编程语言 时间：
2018-11-07 23:11:02
阅读次数：
230
一：理论知识 1.非结构化数据查询方法 1）顺序扫描法 太慢，效率不高。 2）全文检索法 对需要查询的文档创建索引，再对其进行搜索。其实说白了就是为了使其结构化。 2.索引创建和搜索流程图 1）流程图 2）索引库 索引库是由两部分组成的，一部分是索引，另一部分是文档对象（不是原始文档）。 3.流程图 ...
分类：
Web程序 时间：
2018-11-03 17:29:28
阅读次数：
416
什么是全文检索？ 我们生活中的数据总体分为两种：结构化数据和非结构化数据。 当然有的地方还会提到第三种，半结构化数据，如XML，HTML等，当根据需要可按结构化数据来处理，也可抽取出纯文本按非结构化数据来处理。非结构化数据又一种叫法叫全文数据。 按照数据的分类，搜索也分为两种： 非结构化数据搜索方法 ...
分类：
其他好文 时间：
2018-10-31 15:41:30
阅读次数：
114
1、官网下载安装包 1) 首先在Redis官网下载安装包： http://redis.io/download(redis-4.0.9.tar.gz) 2、在/usr/local/创建一个redis文件夹，redis下分别创建bin和conf,logs 3、 解压redis安装包至指定目录下 tar ...
分类：
数据库 时间：
2018-10-26 11:24:50
阅读次数：
227
【结构化数据流图的说明】 1、直角方框，表示数据的源点或终点，是本软件系统外部环境中的实体 (包括人员、组织或其他软件系统)，统称外部实体。一般只出现在数据流图的顶层图中； 2、箭头，表示数据流，是数据在系统内传递的路径，因此由一组固定的数据组成。由于数据流是流动的数据，所以必须有流向。除了与数据存 ...
分类：
其他好文 时间：
2018-10-25 14:22:11
阅读次数：
197
什么是大数据？ 大数据（Big data），又称为巨量资料，指的是传统数据处理应用软件不足以处理它们的大或复杂的数据集的术语。是无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。大数据也可以定义为来自各种来源的大量非结构化或结构化数据。并从各种各样类型的数据中，快速获得有价值信息 ...
分类：
其他好文 时间：
2018-10-23 00:07:36
阅读次数：
296
如今安卓系统中国的前景市场是非常广阔的，它主要针对的是移动设备市场，而如今智能手机已经占据人们生活不能缺少的一部分。所以，很多行业投入到安卓软件开发，进入到安卓开发的人才也越来越多。 安卓应用软件开发必学习的5大基础内容： 1、编程语言 2、基础应用开发 3、核心组件开发Android论坛交流 4丶 ...
分类：
移动开发 时间：
2018-10-22 22:21:25
阅读次数：
261
全文检索（Lucene&Solr） 1）什么是全文检索？为什么需要全文检索？ 结构化数据（mysql等）方便查询，而非结构化数据（如多篇文章）是难以查询到自己需要的，所以要使用全文检索。 全文检索：将非结构化数据的内容提取一部分，然后重新组织，使其有一定结构，然后就能以此快速的查找需要的信息，提取整 ...
分类：
Web程序 时间：
2018-10-18 10:54:34
阅读次数：
200
SparkSQL(Spark用于处理结构化数据的模块) 通过SparkSQL导入的数据可以来自MySQL数据库、Json数据、Csv数据等，通过load这些数据可以对其做一系列计算 下面通过程序代码来详细查看SparkSQL导入数据并写入到ES中： 数据集：北京市PM2.5数据 Spark版本：2. ...
分类：
数据库 时间：
2018-10-17 00:26:13
阅读次数：
1150
入门案例 学习目标 创建一个Scrapy项目 定义提取的结构化数据(Item) 编写爬取网站的 Spider 并提取出结构化数据(Item) 编写 Item Pipelines 来存储提取到的Item(即结构化数据) 一. 新建项目(scrapy startproject) 在开始爬取之前，必须创建 ...
分类：
其他好文 时间：
2018-10-15 16:23:40
阅读次数：
135
