hive 关联表和外表的区别： 1. 外部表需要external关键之，location是数据文件默认存放位置，不管是不管是select 还是load的数据都存放在这里。导入数据到外部表，数据并没有mv到数据仓库目录，而是在loacation目录。 2.内部表建表时也能加上location,作用和外 ...
分类：
其他好文 时间：
2018-11-28 15:38:34
阅读次数：
230
https://hashdatainc.github.io/bireme/ Bireme 是一个 Greenplum / HashData 数据仓库的增量同步工具。目前支持 MySQL、PostgreSQL 和 MongoDB 数据源。 Greenplum 是一个高级，功能齐全的开源数据仓库，为PB ...
分类：
其他好文 时间：
2018-11-26 20:10:09
阅读次数：
560
表 Table 内部表 Partition 分区表 External Table 外部表 Bucket Table 桶表 内部表 分区表 parttion对应于数据库中的Partition列的密集索引，在hive中，表的一个Partition对应于表下一个目录，所有的Partition的数据都存储在 ...
分类：
其他好文 时间：
2018-11-25 21:20:59
阅读次数：
237
常见版本管理工具SVN 集中式的版本控制系统，只有一个中央数据仓库，如果中央数据仓库挂了或者不可访问，所有的使用者无法使用SVN.无法进行提交或备份文件。Git 分布式的版本控制系统，在每个使用者电脑上就有一个完整的数据仓库，没有网络依然可以使用Git。当然为了习惯及团队协作，会将本地数据同步到Gi... ...
分类：
其他好文 时间：
2018-11-25 01:28:36
阅读次数：
311
一：搜索引擎elasticsearch介绍 Elasticsearch 是一个全文搜索引擎，可以快速地储存、搜索和分析海量数据。 二：应用场景 海量数据分析引擎 站内搜索引擎 数据仓库 三：安装 我们可以到 Elasticsearch 的官方网站下载 Elasticsearch：https://ww ...
分类：
其他好文 时间：
2018-11-22 15:16:58
阅读次数：
153
在数据仓库领域中，元数据按用途分成技术元数据和业务元数据。 元数据管理。元数据管理实现针对元数据的基本管理功能。如元数据的添加、删除、修改属性等维护功能；元数据之间关系的建立、删除和跟踪等关系维护功能；提供元数据发布流程管理，可以更好地管理和跟踪元数据的整个生命周期；元数据自身质量核查、元数据查询、 ...
分类：
其他好文 时间：
2018-11-19 20:18:20
阅读次数：
219
区别： 1. Hive是一个构建在Hadoop基础设施之上的数据仓库，通过HQL查询存放在HDFS上的数据，不能交互查询。HBase是一种Key/Value系统，它运行在HDFS之上，可以交互查询。 2. Hive只是一种类SQL的引擎，运行MapReduce任务，不能更新数据。Hbase是一种在H ...
分类：
其他好文 时间：
2018-11-18 02:12:43
阅读次数：
200
hive是一个数据仓库工具，建立在hadoop之上，它的存在是为了让大数据的查询和分析更加的方便。hive提供简单的sql查询功能，并最终转换为mapreduce任务执行。 一、环境 JDK1.8+官方推荐新版JDK，否则可能存在不同版本不兼容问题 hadoop采用2.0+版本，否则hive2.0+ ...
分类：
数据库 时间：
2018-11-17 13:11:51
阅读次数：
363
一：什么是Hive（数据仓库）？ 1、Hive 由 Facebook 实现并开源 2、是基于 Hadoop 的一个数据仓库工具 3、可以将结构化的数据映射为一张数据库表 4、并提供 HQL(Hive SQL)查询功能 5、底层数据是存储在 HDFS 上 6、Hive的本质是将 SQL 语句转换为 M ...
分类：
其他好文 时间：
2018-11-16 23:34:00
阅读次数：
296
一、Hive简介1、什么是HiveHive由Facebook实现并开源，是基于Hadoop的一个数据仓库工具，可以将结构化的数据映射为一张数据库表，并提供HQL(HiveSQL)查询功能，底层数据是存储在HDFS上。Hive的本质是将SQL语句转换为MapReduce任务运行，使不熟悉MapReduce的用户很方便地利用HQL处理和计算HDFS上的结构化的数据，适用于离线的批量数据计算。Hive依
分类：
其他好文 时间：
2018-11-16 21:02:55
阅读次数：
169
