1.hive的基本语法：createdatabasesmydb#创建数据库showdatabases#查看所有的库usemydb#切换数据库createtablet_user(idint,namestring,ageint)#创建表createtablet_user(idint,namestring,ageint)rowformatdelimitedfieldsterminatedby‘分隔符‘#
分类：
其他好文 时间：
2019-01-14 15:11:28
阅读次数：
168
Hive版本是2.1.1，Hbase版本是1.4.3 1. Hbase表映射到Hive表中1.1 Hive的配置文件修改 1.1.1 修改hive-site.xml配置文件，添加配置属性 <property> <name>hbase.zookeeper.quorum</name> <value>se ...
分类：
其他好文 时间：
2019-01-14 14:29:18
阅读次数：
222
1.Hive配置属性 (1)命令行方式 Hive配置属性存储于 hiveconf 命名空间中，该命名空间中的属性是可读写的。在查询语句中插入 '${hiveconf:变量名}'，就可以通过 hive -hiveconf来替换变量。例如，查询语句和执行方式如下： [root]$cat test.sql ...
分类：
其他好文 时间：
2019-01-14 11:56:36
阅读次数：
779
1.hive的介绍 什么是hive：Hive是基于hadoop的一个数据仓库工具，实质就是一款基于hdfs的MapReduce计算框架，对存储在HDFS中的数据进行分析和管理。 hive的工作方式：把存放在hive中的数据都抽象成一张二维表格，提供了一个类似于sql语句的操作方式，这些sql语句最终被hive的底层翻译成为MapReduce程序，最终在h
分类：
其他好文 时间：
2019-01-13 21:40:37
阅读次数：
208
Hadoop相关项目Hive-Pig-Spark-Storm-HBase-Sqoop的相关介绍。 Hive Pig和Hive的对比 摘要: Pig Pig是一种编程语言，它简化了Hadoop常见的工作任务。Pig可加载数据、表达转换数据以及存储最终结果。Pig内置的操作使得半结构化数据变得有意义（如 ...
分类：
其他好文 时间：
2019-01-13 18:08:45
阅读次数：
199
我们知道，一张 HBase 表包含一个或多个列族。HBase 的官方文档中关于 HBase 表的列族的个数有两处描述： A typical schema has between 1 and 3 column families per table. HBase tables should not be ...
分类：
其他好文 时间：
2019-01-12 19:29:16
阅读次数：
220
Hive 的存储格式 | textfile | sequencefile | rcfile | orc | parquet | ...
分类：
其他好文 时间：
2019-01-12 17:48:12
阅读次数：
245
拦截器 一、需求的产生 因生产需求，要将kafka中的数据上传至hdfs，所以计划部署flume来完成。 ? 1.需要将kafkaSource中的json数据解析成需要的数据格式，落地至hdfs，供hive加载，所以此处需要自定义拦截器，对event.body进行逻辑解析。 ? 2.同时因为不同ka ...
分类：
Web程序 时间：
2019-01-12 12:04:42
阅读次数：
217
[TOC] 简介 公司有个元数据管理平台，会定期同步 HIVE 中的元数据。但这样做有个问题，就是如果在 HIVE 中插入了一张新表或者新库等 HIVE 元数据变更的操作，元数据管理平台不能及时与 HIVE 表中的数据进行同步。因此需要调研下 HIVE 中有没有类似的监听机制，可以实现 HIVE 中 ...
分类：
其他好文 时间：
2019-01-12 12:03:06
阅读次数：
1117
