一、前提条件 安装了Zookeeper、Hadoop HDFS HA 二、安装Mysql 因为使用量多的是单用户数据库模式,并且数据库使用最多的是mysql 所以在这里选择mysql数据库; 三、Hive安装 启动hive 如果能正常的显示登录到hive的命令行下,就表示安装成功了; ...
分类:
数据库 时间:
2019-09-11 23:57:51
阅读次数:
191
1、Hive的内表 Hive 的内表,就是正常创建的表,在 http://www.cnblogs.com/raphael5200/p/5208437.html 中已经提到; 2、Hive的外表 创建Hive 的外表,需要使用关键字 External: 下面看一个例子: 这两个,左边是外表,右边是内表 ...
分类:
其他好文 时间:
2019-09-11 23:51:37
阅读次数:
127
这种方式是最简单的存储方式,只需要在hive-site.xml做如下配置便可; ...
分类:
其他好文 时间:
2019-09-11 23:47:16
阅读次数:
141
官方帮助文档:https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL Hive DDL Hive完整的DDL Hive DDL的语方法为类SQL语法,所以标准的SQL语法大多数在Hive中都可用; Hive建表 Hive ...
分类:
其他好文 时间:
2019-09-11 23:42:44
阅读次数:
159
在Hive中还有一项比较好用的功能,也是非常重要的功能:在建表的时候可以不指定表的行、字段、列的分隔方式,通过给表指定一段正则表达式,让Hive自动去匹配; 1、创建表 2、日志文件内容 3、导入本地数据 4、查看结果 ...
分类:
其他好文 时间:
2019-09-11 23:41:36
阅读次数:
105
1、Hive2 beeline Beeline 要与HiveServer2配合使用,支持嵌入模式和远程模式 启动beeline 打开两个Shell窗口,一个启动Hive2 一个beeline连接hive2 启动beeline之后可以尝试连接hiveserver2 2、Hive jdbc 打开Ecli ...
分类:
数据库 时间:
2019-09-11 23:39:22
阅读次数:
119
Hive嵌入Python Python的输入输出都是\t为分隔符,否则会出错,python脚本输入print出规定格式的数据 用法为先add file,使用语法为TRANSFORM (name, items) USING 'python test.py' AS (name string, item1 ...
分类:
编程语言 时间:
2019-09-11 23:35:42
阅读次数:
111
Hive自定义函数包括三种UDF、UDAF、UDTF UDF(User-Defined-Function) 一进一出 UDAF(User- Defined Aggregation Funcation) 聚集函数,多进一出。Count/max/min UDTF(User-Defined Table-G ...
分类:
其他好文 时间:
2019-09-11 23:32:40
阅读次数:
125
1、在hive中显示当前数据库的名字和表头的信息,需要在$HIVE_HOME/conf目录下的hive-site.xml文件中添加如下内容: <property> <name>hive.cli.print.header</name> <value>true</value> </property> < ...
分类:
其他好文 时间:
2019-09-11 17:44:32
阅读次数:
65
1. 进入Hadoop环境(在Hadoop安装目录下运行命令、若配置好ssh则可以直接运行启动命令) 2. 启动hive进程(按照网上或林子雨的配置教程来就可以,不再赘述) 进入到shell 3.加载数据到hive数据库(在项目实操中不建议查询语句为select *,而应根据列名查询,若只是查看表结 ...
分类:
其他好文 时间:
2019-09-11 10:11:58
阅读次数:
79