Hbase的Rowkey设计原则 一、 Hbase介绍 HBase -> Hadoop Database，HBase是Apache的Hadoop项目的子项目。HBase不同于一般的关系数据库，它是一个适合于非结构化数据存储的数据库。另一个不同的是HBase基于列的而不是基于行的模式,主要用来存储非结 ...
分类：
其他好文 时间：
2019-01-19 20:13:44
阅读次数：
177
Hadoop相关项目Hive-Pig-Spark-Storm-HBase-Sqoop的相关介绍。 Hive Pig和Hive的对比 摘要: Pig Pig是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义（如 ...
分类：
其他好文 时间：
2019-01-13 18:08:45
阅读次数：
199
前两次介绍了知识图谱的基本概念和知识图谱的构建方式，这次介绍一下知识图谱系统的构建过程。 1 知识图谱的总体构建思路 如图所示，从原始的数据到形成知识图谱，经历了知识抽取、知识融合（实体对齐）、数据模型构建、质量评估等步骤。 原始的数据，按照数据的结构化程度来分，可以分为结构化数据、半结构化数据和非 ...
分类：
其他好文 时间：
2019-01-09 11:23:02
阅读次数：
219
前两次介绍了知识图谱的基本概念和知识图谱的构建方式，这次介绍一个知识图谱系统的构建过程。 1 知识图谱的总体构建思路 如图所示，从原始的数据到形成知识图谱，经历了知识抽取、知识融合（实体对齐）、数据模型构建、质量评估等步骤。 原始的数据，按照数据的结构化程度来分，可以分为结构化数据、半结构化数据和非 ...
分类：
其他好文 时间：
2019-01-08 17:50:17
阅读次数：
245
Hive是一个数据仓库基础工具在Hadoop中用来处理结构化数据。它架构在Hadoop之上，总归为大数据，并使得查询和分析方便。并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。术语“大数据”是大型数据集，其中包括体积庞大，高速，以及各种由与日俱增的数据的集合。使用传 ...
分类：
数据库 时间：
2019-01-07 01:32:55
阅读次数：
176
1、sparksql的概述（1）sparksql的介绍： SparkSQL是Spark用来处理结构化数据（结构化数据可以来自外部结构化数据源也可以通过RDD获取）的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 外部的结构化数据源包括JSON、Parquet(默认)、RMDBS、Hive等。当前SparkSQL使
分类：
数据库 时间：
2019-01-05 13:37:33
阅读次数：
251
hbase是一个构建在hdfs上的分布式列存储系统；hbase是apachehadoop生态系统中的重要一员，主要用于海量结构化数据存储从逻辑上讲，hbase将数据按照表、行和列进行存储hbase表特点： 1.大：一个表可以有数十亿行，上百万列； 2.无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列； 3.面向列：面向列（族）的存储
分类：
其他好文 时间：
2019-01-02 19:04:13
阅读次数：
179
1. Spark SQL定位处理结构化数据的模块。SparkSQL提供相应的优化机制，并支持不同语言的开发API。 java、scala、Python，类SQL的方法调用（DSL） 2. RDD与Spark SQL的比较说明： 使用Spark SQL的优势：a.面向结构化数据；b.优化机制； RDD ...
分类：
数据库 时间：
2018-12-31 17:28:16
阅读次数：
235
一、Hadoop的应用业务分析大数据是不能用传统的计算技术处理的大型数据集的集合。它不是一个单一的技术或工具，而是涉及的业务和技术的许多领域。目前主流的三大分布式计算系统分别为:Hadoop、Spark和Strom：Hadoop当前大数据管理标准之一，运用在当前很多商业应用系统。可以轻松地集成结构化、半结构化甚至非结构化数据集。Spark采用了内存计算。从多迭代批处理出发，允许将数据载入内存作反复
分类：
其他好文 时间：
2018-12-30 12:51:29
阅读次数：
204
一、概述 Protocol Buffers 是 Google 公司开发的一种轻便高效的结构化数据存储格式，可以用于结构化数据串行化，或者说序列化。它很适合做数据存储或 RPC 数据交换格式。可用于通讯协议、数据存储等领域的语言无关、平台无关、可扩展的序列化结构数据格式。 Protocol Buffe ...
分类：
编程语言 时间：
2018-12-24 12:32:22
阅读次数：
1010
