4大特点解析华为云数据湖“黑科技”如果有人问数据湖是什么，我会告诉他们，是“桶装水”的集合。随着企业业务的发展，数据出现井喷，数据量呈几何增长，数据来源和类型更加多元化。传统数据仓库就如同“桶装水商店”，已经承载不了全部水体，因此需要一个可以满足存储需求的，新的架构作为大数据的支撑。这就是数据湖。它汇聚不同数据源的溪流，包括大量无序的非结构化数据（文本、图像、声音、网页等）。我们把它倒入数据湖，然
分类：
其他好文 时间：
2018-12-24 11:16:29
阅读次数：
134
全文检索就是从非结构化数据中提取部分信息形成索引，再对索引进行查询。对于数据量大，结构不稳定的数据，要使用全文检索比如字典 Lucene是一个开源的全文检索引擎工具包，提供了查询引擎和索引引擎 Lucene实现全文检索（创建索引和搜索两个过程）的流程： 索引过程：对原始内容进行索引构建成一个索引库， ...
分类：
Web程序 时间：
2018-12-23 12:47:34
阅读次数：
185
一、大数据相关概念 Bigdata： 结构化数据 半结构化数据 非结构化数据 搜索引擎：搜索组件、索引组件，由蜘蛛程序搜集而来 存储平台 分析处理平台 Google： 2003年：The Google File System 2004年：MapReduce：Simplified Data Procc ...
分类：
其他好文 时间：
2018-12-10 00:01:21
阅读次数：
208
全文检索1.全文搜索概念：（1）数据结构：·结构化：只具有固定格式或者有限长度的数据，如数据库，元数据等·非结构化：指不定长或者无固定格式的数据，如邮件，word文档等（2）非结构化数据的检索：·顺序扫描法：适合小数据量文件·全文搜索：将非结构化的数据转为结构化的数据，然后创建索引，在进行搜索（3）概念：全文搜索是一种将文件中所有文本域搜索项匹配的文件资料检索方式2.全文搜索实现原理3.全文搜索实
分类：
编程语言 时间：
2018-11-27 16:52:32
阅读次数：
169
1、解析模块 1、数据的分类 1、结构化数据 特点 ：有固定的格式,如 ：HTML、XML、JSON 2、非结构化数据 示例 ：图片、音频、视频,这类数据一般都以二进制方式存储 2、正则表达式 re 1、使用流程 1、创建编译对象 ：p = re.compile("正则表达式") 2、对字符串进..... ...
分类：
其他好文 时间：
2018-11-24 17:10:04
阅读次数：
234
一、HBase的特点是什么 1.HBase一个分布式的基于列式存储或者行式存储的数据库,基于hadoop的hdfs存储，zookeeper进行管理。 2.HBase适合存储半结构化或非结构化数据，对于数据结构字段不够确定或者杂乱无章很难按一个概念去抽取的数据。 3.HBase为null的记录不会被存 ...
分类：
其他好文 时间：
2018-11-18 02:11:10
阅读次数：
246
大数据时代，计算模式也发生了转变，从“流程”核心转变为“数据”核心。Hadoop体系的分布式计算框架已经是“数据”为核心的范式。非结构化数据及分析需求，将改变IT系统的升级方式：从简单增量到架构变化。大数据下的新思维——计算模式的转变。
分类：
其他好文 时间：
2018-11-10 12:49:48
阅读次数：
180
一：理论知识 1.非结构化数据查询方法 1）顺序扫描法 太慢，效率不高。 2）全文检索法 对需要查询的文档创建索引，再对其进行搜索。其实说白了就是为了使其结构化。 2.索引创建和搜索流程图 1）流程图 2）索引库 索引库是由两部分组成的，一部分是索引，另一部分是文档对象（不是原始文档）。 3.流程图 ...
分类：
Web程序 时间：
2018-11-03 17:29:28
阅读次数：
416
什么是全文检索？ 我们生活中的数据总体分为两种：结构化数据和非结构化数据。 当然有的地方还会提到第三种，半结构化数据，如XML，HTML等，当根据需要可按结构化数据来处理，也可抽取出纯文本按非结构化数据来处理。非结构化数据又一种叫法叫全文数据。 按照数据的分类，搜索也分为两种： 非结构化数据搜索方法 ...
分类：
其他好文 时间：
2018-10-31 15:41:30
阅读次数：
114
1、官网下载安装包 1) 首先在Redis官网下载安装包： http://redis.io/download(redis-4.0.9.tar.gz) 2、在/usr/local/创建一个redis文件夹，redis下分别创建bin和conf,logs 3、 解压redis安装包至指定目录下 tar ...
分类：
数据库 时间：
2018-10-26 11:24:50
阅读次数：
227
