配置环境总是令人头大! 苦苦挣扎数日后,博主总算活过来了! 特分享成功配置 HIVE 的过程! 类似Hadoop,Hive也有三种也不同的部署模式(本文采用第二种): 1. 内嵌模式:将元数据保存在Hive内嵌的Derby数据库中,只允许一个会话连接 2. 本地模式:(以MySQL为例)在本地安装M ...
分类:
系统相关 时间:
2018-11-29 20:01:23
阅读次数:
208
杨赟快跑 简书作者 2018-09-24 10:24 打开App 杨赟快跑 2018-09-24 10:24 打开App 摘要:大数据门槛较高,仅仅环境的搭建可能就要耗费我们大量的精力,本文总结了作者是如何搭建大数据环境的(单机版和集群版),希望能帮助学弟学妹们更快地走上大数据学习之路。 0. 准备 ...
分类:
其他好文 时间:
2018-11-29 12:19:25
阅读次数:
232
简介 单用户多点模式也称远程服务模式,用户非java客户端访问元数据库,在服务端启动MetaStoreServer,客户端利用Thrift协议通过MetaStoreServer访问元数据库。 mysql安装以及配置 安装mysql apt默认安装,占据3306端口 安装机器 : dev01 配置hi ...
分类:
其他好文 时间:
2018-11-28 18:52:38
阅读次数:
219
hive正则解析字符串以及 hive get_json_object 解析 json 字符串 ...
分类:
Web程序 时间:
2018-11-28 15:42:44
阅读次数:
231
hive 关联表和外表的区别: 1. 外部表需要external关键之,location是数据文件默认存放位置,不管是不管是select 还是load的数据都存放在这里。导入数据到外部表,数据并没有mv到数据仓库目录,而是在loacation目录。 2.内部表建表时也能加上location,作用和外 ...
分类:
其他好文 时间:
2018-11-28 15:38:34
阅读次数:
230
apr、apr-util http://archive.apache.org/dist/apr/ ...
分类:
其他好文 时间:
2018-11-27 19:22:04
阅读次数:
184
sqoop报错 1. sqoop将mysql中的数据导入到hive中 报错:Hive does not support the SQL type for column ssl_cipher 原因:报这个错是因为hive不支持mysql表中某些字段的类型 解决:--map-column-hive ss ...
分类:
其他好文 时间:
2018-11-27 17:12:11
阅读次数:
614
一.个人初始开发环境的基本情况以及Hive元数据库说明 ①hive的元数据库改成了mysql(安装完mysql之后也没有进行其它别的设置) ②hive-site.xml中设置元数据库对应的配置为 jdbc:mysql://crxy99:3306/hive_cz3q?createDatabaseIfN ...
分类:
其他好文 时间:
2018-11-27 14:47:29
阅读次数:
336
前面已经学习了如何将数据从关系型数据库导入到Hive/HDFS,并且在Windows客户端查询导入的数据,接下来继续学习CDH,知识点: 1、Hue环境中DB Query如何使用,DB Query这个功能是在Hue这个Web界面可以直接查询其他关系型数据库的数据,Hue在默认装完后是无法直接使用DB ...
分类:
其他好文 时间:
2018-11-27 11:19:11
阅读次数:
165
安装依赖库$yuminstall-ycurl-devel\expat-devel\gettext-devel\openssl-devel\zlib-devel\gcc\perl-ExtUtils-MakeMaker卸载低版本git$yumremovegit下载git源码$wgethttps://github.com/git/git/archive/v2.9.2.tar.gz$tar-zxvfv2.
分类:
其他好文 时间:
2018-11-26 20:29:35
阅读次数:
230