1. Hive mysql的metastore安装准备 把hive-0.12.0.tar.gz解压到/zzy/ # tar -zxvf hive-0.12.0.tar.gz -C /zzy (-C 指定解包后的路径) 修改/etc/profile文件，将hive加入环境变量 # vim /etc/p...
分类：
其他好文 时间：
2015-08-08 13:19:02
阅读次数：
149
1.Hive 官方网址：http://hive.apache.org/ Ø 什么是Hive？（***了解***） l Hive 是建立在 Hadoop上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL ），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据...
分类：
其他好文 时间：
2015-08-08 12:03:16
阅读次数：
296
[Author]: kwu --- sqoop导入关系库更新联合主键的问题，把数据从hive中导入关系库，如果关系库表有联合主键的情况，且需要把新导入的数据更新原来的数据...
分类：
其他好文 时间：
2015-08-07 19:49:07
阅读次数：
144
一、CLI操作： 1、普通设置： set?hive.cli.print.header=true;????//?打印查询头，需要显示设置
set?hive.mapred.mode=strict;?????//?hive?strict模式，分区表必须在where中分区过滤，不允许笛卡...
分类：
其他好文 时间：
2015-08-07 11:37:07
阅读次数：
129
1、继续参加自考，10月11月都有考试的。 临阵磨枪，过一门是一门。2、将那本建模的书看完，对于建模有自己的理解，并在新工作中有所应用。3、新工作中，要将数据体系搭建好了，搭建稳定了，这样将来的工作也会好做了。4、HIVE编程要看完，因为书比较老，看完后，要将2014年后的版本的新特性要进行熟知。5...
分类：
其他好文 时间：
2015-08-07 11:01:39
阅读次数：
98
课程：云计算：OpenStack | 虚拟化 | 云平台 | Office 365 | 云服务 | Docker | 其他大数据：Spark | Hadoop | Storm | Hive | Yarn | 其他移动开发：Swift | 微信开发 | iOS | Android | HTML5 | ...
分类：
其他好文 时间：
2015-08-07 07:00:12
阅读次数：
128
参考之前的hive测试步骤一一执行。 hive> drop table sansom; FAILED: Error in metadata: org.apache.thrift.transport.TTransportException FAILED: Execution Error, return code 1 from org.apache.hadoop.hi...
分类：
其他好文 时间：
2015-08-05 10:50:35
阅读次数：
322
在大数据开发过程中经常会遇到，将hive中处理后的结果写入hbase中，每次都要写java程序会非常浪费时间，我们就想了一个办法 ，用hive的udf来实现。 只需要调用同一个udf，将表名字段名以及每一个字段的值作为udf的参数，就可以实现写hbase了。 这样大大的节省了开发时间，提升了开发效率。 大家可以按照这种思路写自己需要的功能。这里只简单的列举几个供大家参考，具体操作如下:一、依赖的ja...
分类：
其他好文 时间：
2015-08-03 19:13:59
阅读次数：
256
一、安装：
上传到hadoop集群的某一个节点上，将sqoop压缩包解压即可直接使用；
二、配置：
将需要连接的数据库（比如Oracle、MySQL）的连接驱动拷贝到 sqoop目录的lib里；
三、配置mysql远程连接
GRANT ALL PRIVILEGES ON ekp_11.* TO 'root'@'192.168.1.10' IDENTIFIED BY '123...
分类：
数据库 时间：
2015-08-03 17:02:27
阅读次数：
318
摘要：由于 Hive 采用了 SQL 的查询语言 HQL，因此很容易将 Hive 理解为数据库。其实 从结构上来看，Hive 和数据库除了拥有类似的查询语言，再无类似之处。本文将 从多个方面来阐述 Hive 和数据库的差异。数据库可...
分类：
数据库 时间：
2015-08-03 11:44:03
阅读次数：
148
