4大特点解析华为云数据湖“黑科技”如果有人问数据湖是什么，我会告诉他们，是“桶装水”的集合。随着企业业务的发展，数据出现井喷，数据量呈几何增长，数据来源和类型更加多元化。传统数据仓库就如同“桶装水商店”，已经承载不了全部水体，因此需要一个可以满足存储需求的，新的架构作为大数据的支撑。这就是数据湖。它汇聚不同数据源的溪流，包括大量无序的非结构化数据（文本、图像、声音、网页等）。我们把它倒入数据湖，然
分类：
其他好文 时间：
2018-12-24 11:16:29
阅读次数：
134
全文检索就是从非结构化数据中提取部分信息形成索引，再对索引进行查询。对于数据量大，结构不稳定的数据，要使用全文检索比如字典 Lucene是一个开源的全文检索引擎工具包，提供了查询引擎和索引引擎 Lucene实现全文检索（创建索引和搜索两个过程）的流程： 索引过程：对原始内容进行索引构建成一个索引库， ...
分类：
Web程序 时间：
2018-12-23 12:47:34
阅读次数：
185
Neo4j是一个Java开发的图数据库，它将结构化数据存储在网络(从数学角度叫做图)上而不是表中。相对于关系数据库来说，图数据库善于处理大量复杂、互连接、低结构化的数据，这些数据变化迅速，需要频繁的查询——在关系数据库中，这些查询会导致大量的表连接，因此会产生性能上的问题。Neo4j重点解决了拥有大 ...
分类：
编程语言 时间：
2018-12-18 22:43:11
阅读次数：
1304
本章将从案例开始介绍python scrapy框架，更多内容请参考:python学习指南 入门案例 学习目标 创建一个Scrapy项目 定义提取的结构化数据(Item) 编写爬取网站的Spider并提取出结构化数据(Item) 编写Item Pipelines来存储提取到的Item(即结构化数据) ...
分类：
编程语言 时间：
2018-12-18 02:33:51
阅读次数：
248
百度百科： Neo4j是一个高性能的,NOSQL图形数据库，它将结构化数据存储在网络上而不是表中。它是一个嵌入式的、基于磁盘的、具备完全的事务特性的Java持久化引擎，但是它将结构化数据存储在网络(从数学角度叫做图)上而不是表中。Neo4j也可以被看作是一个高性能的图引擎，该引擎具有成熟数据库的所有 ...
分类：
数据库 时间：
2018-12-17 15:59:33
阅读次数：
390
一、什么是protocol buffers Protocol buffers是一个灵活的、高效的、自动化的用于对结构化数据进行序列化的协议，与XML相比，Protocol buffers序列化后的码流更小、速度更快、操作更简单。你只需要将要被序列化的数据结构定义一次(译注：使用.proto文件定义) ...
分类：
其他好文 时间：
2018-12-13 13:18:57
阅读次数：
166
目录 "1、数据库基础知识" "1、数据" "2、数据库" "3、数据库管理系统" "4、数据库系统" "4.1数据库系统的特点" 1、数据库基础知识 1、数据 2、数据库 3、数据库管理系统 4、数据库系统 4.1数据库系统的特点 数据结构化 数据冗余度小 数据共享性好 数据独立性高 数据库保护 ...
分类：
数据库 时间：
2018-12-12 00:42:32
阅读次数：
235
一、大数据相关概念 Bigdata： 结构化数据 半结构化数据 非结构化数据 搜索引擎：搜索组件、索引组件，由蜘蛛程序搜集而来 存储平台 分析处理平台 Google： 2003年：The Google File System 2004年：MapReduce：Simplified Data Procc ...
分类：
其他好文 时间：
2018-12-10 00:01:21
阅读次数：
208
目录 1.什么是protobuffer？ protobuffer是一种灵活，高效，自动化的机制，用于序列化结构化数据 - 想想XML，但更小，更快，更简单。您可以定义数据的结构化时间，然后可以使用特殊生成的源代码轻松地在各种数据流中使用各种语言编写和读取结构化数据。您甚至可以更新数据结构，而不会破坏 ...
分类：
其他好文 时间：
2018-12-08 15:49:13
阅读次数：
132
集算器SPL是一门结构化数据处理语言，它提供了大量的结构化数据处理函数，支持并行计算、有序集合、集合式分组等功能，使得数据处理不仅仅方便，而且性能颇高，还能实现很多让SQL和存储过程挠头的功能。它提供了 JDBC 驱动，可以很方便与其他报表工具集成使用。 《BIRT 调用 SPL 脚本》这篇文章就 ...
分类：
其他好文 时间：
2018-12-07 22:31:22
阅读次数：
222
