全文检索概述 数据形式 结构化数据 有固定格式或者固定长度的数据 如通常关系型数据库文件 检索方式：结构化查询语句SQL语句 非结构化数据 没有固定结构的数据,各种文档、图片、视频/音频等都属于非结构化数据。 查询方式：遍历, 全文检索 半结构化数据 半结构化数据是结构化数据的一种形式，它并不符合关 ...
分类：
Web程序 时间：
2018-05-11 00:09:25
阅读次数：
246
HDFS 体系结构 mapreduce 体系结构和算法 haddop 集群 zookeeper 操作；HBase 体系结构Hive /Sqoop 体系结构和基本操作； mapreduce 逻辑处理数据；HDFS 存放海量数据； 结构与非结构化数据structured data ( RDBMS ) & ...
分类：
其他好文 时间：
2018-05-04 19:31:14
阅读次数：
145
一、全文检索与Lucene介绍 1、全文检索 将非结构化数据中的一部分信息提取出来，重新组织，使其变得有一定结构，然后对此有一定结构的数据进行搜索，从而达到搜索相对较快的目的。这部分从非结构化数据中提取出然后重新组织的信息，我们称之索引。 这种先建立索引，再对索引进行搜索的过程就叫全文检索(Full ...
分类：
Web程序 时间：
2018-05-02 11:18:45
阅读次数：
298
优点 分布式实时文件存储，并将每一个字段都编入索引，使其可以被搜索。 实时分析的分布式搜索引擎。 可以扩展到上百台服务器，处理PB级别的结构化或非结构化数据。 ...
分类：
其他好文 时间：
2018-04-28 14:00:01
阅读次数：
132
HBase底层存储原理——我靠，和cassandra本质上没有区别啊！都是kv 列存储，只是一个是p2p另一个是集中式而已！ 首先HBase不同于一般的关系数据库, 它是一个适合于非结构化数据存储的数据库. 另一个不同的是HBase基于列的而不是基于行的模式. 什么是BigTable： Bigtab ...
分类：
其他好文 时间：
2018-04-04 14:55:56
阅读次数：
163
数据类型：结构化数据：结构化数据即行数据，存储在数据库里，可以用二维表结构来逻辑表达实现的数据非结构化数据：包括所有的办公文档、文本、图片、xml、html、各类报表、图像和音频视频信息等等，相对于结构化数据而言，不方便用逻辑表来表现的数据；非结构化数据库是指其字段长度可变，并且每个字段的记录又可以由可重复或不可重复的子字段构成的数据库，用它不仅可以处理结构化数据而且更适合处理非结构化数据；半结构
分类：
系统相关 时间：
2018-03-22 15:03:13
阅读次数：
302
1.hbase 的特点是什么 (1) Hbase一个分布式的基于列式存储的数据库,基于Hadoop的hdfs存储，zookeeper进行管理。 (2) Hbase适合存储半结构化或非结构化数据，对于数据结构字段不够确定或者杂乱无章很难按一个概念去抽取的数据。 (3) Hbase为null的记录不会被 ...
分类：
其他好文 时间：
2018-03-15 21:01:24
阅读次数：
223
不多说，直接上干货！ 推荐博客 SPSS学习系列之SPSS Statistics（简称SPSS）是什么？ 官方简介： SPSS Modeler 是全球领先的数据挖掘、预测分析平台软件，拥有简单的图形界面和高级分析能力，发现结构化和非结构化数据中的趋势，使得企业和分析师增加生产力，获得前所未有的深入了 ...
分类：
其他好文 时间：
2018-02-26 15:06:48
阅读次数：
274
什么是ES？ 1基于Apache Lucene构建的开源搜索引擎 2采用java编写，提供简单易用的RESTFul API 3轻松的横向扩展，可支持PB级的结构化或非结构化数据处理 ES的应用场景？ 1海量数据分析引擎 2站内搜索引擎 3作为数据仓库使用 ES的安装 1.单机方式 1）从官网http ...
分类：
其他好文 时间：
2018-02-25 19:26:12
阅读次数：
197
对于scrapy我们前面已经介绍了简单的应用，今天我们用一个完整的例子，爬取豆瓣电影TOP250来做一个小的练习，把scrapy阶段做一个总结。1环境配置语言：Python3.6.1IDE：Pycharm浏览器：firefox爬虫框架：Scrapy1.5.0操作系统：Windows10家庭中文版2爬取前分析2.1需要保存的数据首先确定我们要获取的内容，在items中定义字段，来将非结构化数据生成结
分类：
编程语言 时间：
2018-02-08 11:11:34
阅读次数：
306
