软件安装版本： hadoop-2.5.1 hbase-0.98.12.1-hadoop2 apache-hive-1.2.1-bin SQuirreL SQL Client3.7 集成步骤： 1. SQuirreL 中添加Drivers，将hive_home/lib 下所有jar 添加至 extra ...
分类：
其他好文 时间：
2016-04-04 17:45:50
阅读次数：
205
1、查看表结构信息 desc formatted table_name; desc table_name; 查看关联文件： desc extended f_tblog_online_mds; 2、查看分区 show partitions table_name; 3、依据分区查询。提快速度 selec ...
分类：
其他好文 时间：
2016-04-03 15:55:00
阅读次数：
127
本文介绍brew install hive并修改默认的metastore存储方案，改Derby数据库为mysql的方法以及可能遇到的问题的解决方案。 1. 通过homebrew安装hive 1 brew install hive 2. 添加hadoop和hive的环境变量 1 2 3 4 5 6 s ...
分类：
系统相关 时间：
2016-04-03 14:25:07
阅读次数：
608
<!--[if gte vml 1]><v:shapetype id="_x0000_t75" coordsize="21600,21600" o:spt="75" o:preferrelative="t" path="m@4@5l@4@11@9@11@9@5xe" filled="f" strok ...
分类：
其他好文 时间：
2016-04-03 00:19:45
阅读次数：
1007
最近，参与了公司的一个大数据接口平台的开发，具体的处理过程是这样的。我们公司负责数据的入库，也就是一个etl过程，使用MR将数据入到hive里面，然后同步到impala，然后此接口平台提供查询接口，前台会将sql语句以参数传过来，然后接口平台通过调用impala提供的java api接口，将数据查询出来返回给用户。另外，如果查询的数据量很大，那么前台就会传一个taskId过来，第一次只需将数据查询出...
分类：
其他好文 时间：
2016-04-01 18:51:13
阅读次数：
222
创建hive表注意事项 一、表分隔符必须与读取的数据文件一致，比如例子的分隔符为 '\t'（制表符），hive下默认分隔符是制表符。 二、最好指定分区作为数据之间的区分。 三、创建完表可以desc+表明进行查看，字段名称（field），类型（type），common（备注，默认没的话为空）。 eg： ...
分类：
其他好文 时间：
2016-04-01 14:23:45
阅读次数：
120
一、什么是Hive Hive是建立在 Hadoop 上的数据仓库基础构架。它提供了一系列的工具，可以用来进行数据提取转化加载（ETL），这是一种可以存储、查询和分析存储在 Hadoop 中的大规模数据的机制。Hive 定义了简单的类 SQL 查询语言，称为 HQL，它允许熟悉 SQL 的用户查询数据 ...
分类：
其他好文 时间：
2016-04-01 13:01:31
阅读次数：
146
Flume在企业大数据仓库架构中位置及功能hadoop数据仓库flume数据仓库架构1、如下图所示，外部数据中，关系型数据库导入到HDFS用sqoop，由Nginx产生的文件实时监控用Flume获得。在HDFS或Hbase中，如果要进行实时查询用Impala（内存），如果是分析可以用Hive，Map... ...
分类：
Web程序 时间：
2016-04-01 06:33:43
阅读次数：
452
对于刚接触大数据的用户来说，要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析，以作抛砖引玉之用。 Hive是什么？Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库，注意这里不是数据库。Hive可以看作是用户编 ...
分类：
其他好文 时间：
2016-03-31 14:42:07
阅读次数：
135
掰着指头算算，今天是周三，也就意味着我从接触Hadoop到搭建集群Hadoop、HBase、Hive已经过去了四天，结果是我依然没有搭建完成，还在苦苦挣扎。这周一定要让完整的Hadoop跑起来，不然也真是太不像话了。 今天我想想干了些啥，早上路过青年路的时候买了个馒头，他居然要了我两块钱！！！不是什 ...
分类：
其他好文 时间：
2016-03-31 00:04:10
阅读次数：
232
