项目中需要比对两种方法计算生成的数据情况，需要做两件事情，比对生成的中间表的行数是否相同，比对最后一张表的数据是否一致。 在获取表的数据量是一条一条地使用select count(*) from table来获取等待结果比较烦人，所以就写了一个bash shell来做这件事。 但一开始是这样的： f...
分类：
其他好文 时间：
2015-04-21 08:18:44
阅读次数：
157
详细步骤
一 、简介
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。
Hive与HBase的整合功能的实现是利用两者本身...
分类：
其他好文 时间：
2015-04-20 17:04:29
阅读次数：
198
说明：该文档翻译/整理于Hive官方文档https://cwiki.apache.org/confluence/display/Hive/SQL+Standard+Based+Hive+Authorization#SQLStandardBasedHiveAuthorization-ObjectPri...
分类：
数据库 时间：
2015-04-20 16:34:11
阅读次数：
389
Hive 具有一个可选的组件叫做HiveServer,它允许通过在一定的端口访问Hive.
将自定义的UDF的jar拷贝到安装的hive服务器中（如 /home/hadoop下）
具体的不啰嗦了，看代码吧！、
package com.hive.client;
import java.sql.Connection;
import java.sql.DriverManager;
import...
分类：
编程语言 时间：
2015-04-20 11:14:44
阅读次数：
207
1.Hive1.1在hadoop生态圈中属于数据仓库的角色。他能够管理hadoop中的数据，同时可以查询hadoop中的数据。 本质上讲，hive是一个SQL解析引擎。Hive可以把SQL查询转换为MapReduce中的job来运行。 hive有一套映射工具，可以把SQL转换为MapReduce中的...
分类：
其他好文 时间：
2015-04-20 00:35:49
阅读次数：
233
SQOOP是用于对数据进行导入导出的。(1)把MySQL、Oracle等数据库中的数据导入到HDFS、Hive、HBase中 (2)把HDFS、Hive、HBase中的数据导出到MySQL、Oracle等数据库中1.把数据从mysql导入到hdfs(默认是/user/)中 sqoop import ...
分类：
其他好文 时间：
2015-04-20 00:33:20
阅读次数：
139
Hive是基于Hadoop文件系统上的数据仓库架构。Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能。本质是将SQL转换为MapReduce程序它为数据仓库的管理提供了许多功能： 数据ETL(抽取，转换和加载)工具 数据存储管理 大型数据...
分类：
其他好文 时间：
2015-04-18 11:29:26
阅读次数：
153
最近，随着大数据的兴起，Java实现的Hadoop成了这个数据领域的领跑者，不管是HDFS，还是MapReduce，还是Hive都成了很热的词汇。也从Hadoop这个软件本体催生了一个依存此的大数据领域，也和时下热的不能再热的云计算拉上了关系。
于是，作为一个程序员，不得不学习新的技术和知识，来保证自己的饭碗，这真是一个极为辛苦的差事。于是，开始接触Hadoop。结果也就是难免不出...
分类：
编程语言 时间：
2015-04-18 08:49:08
阅读次数：
996
Hive是为了简化编写MapReduce程序而生的，使用MapReduce做过数据分析的人都知道，很多分析程序除业务逻辑不同外，程序流程基本一样。在这种情况下，就需要Hive这样的用戶编程接口。Hive本身不存储和计算数据，它完...
分类：
其他好文 时间：
2015-04-17 18:40:23
阅读次数：
112
今天，小乔操作时发现问题：org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x a...
分类：
其他好文 时间：
2015-04-17 13:34:23
阅读次数：
130
