鉴于hadoop的版本太多，并且组建也多，对于新手来说安装起来往往不是很容易，本文专门以CDH5的发行版为例讲解了hadoop，hbase，hive的单机安装方法。并附上所用到的一些安装包，第三方jar包，配置文件等。...
分类：
其他好文 时间：
2015-04-15 13:32:45
阅读次数：
373
HIVE的分区通过在创建表时启用partitionby实现，用来partition的维度并不是实际数据的某一列，具体分区的标志是由插入内容时给定的。当要查询某一分区的内容时可以采用where语句，形似where tablename.partiti...
分类：
其他好文 时间：
2015-04-14 13:12:17
阅读次数：
104
I使用：
hive：启动hive
命令必须以分号结束，告诉hive立即执行该命令，不区分大小写
show tables；查看有哪些表
desc tablename; 查看表有哪些列
写sql命令
use udw;
select user_id,action_id
from udw_ml_user_action
where partition_date>=20150410
dis...
分类：
其他好文 时间：
2015-04-14 11:12:51
阅读次数：
165
HIVE的分区通过在创建表时启用partitionby实现，用来partition的维度并不是实际数据的某一列，具体分区的标志是由插入内容时给定的。当要查询某一分区的内容时可以采用where语句，形似where
tablename.partition_key >a来实现。
创建含分区的表。
命令原型：
CREATE TABLE page_view(viewTime INT,...
分类：
其他好文 时间：
2015-04-14 11:10:44
阅读次数：
177
在项目中遇到的一些问题，当我们需要使用sqoop在关系数据库与HDFS、Hive之间导入/导出数据时候遇到的一些问题，如何让sqoop支持自主研发的不能够支持全部jdbc接口数据库的导入导出，分析sqoop源码寻找解决方案。...
分类：
其他好文 时间：
2015-04-13 20:58:58
阅读次数：
180
首先，Hive 没有专门的数据存储格式，也没有为数据建立索引，用户可以非常自由的组织 Hive 中的表，只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符，Hive 就可以解析数据。
其次，Hive 中所有的数据都存储在 HDFS 中，Hive 中包含以下数据模型：Table，External Table，Partition，Bucket。
Hive 中的 Table 和数据库...
分类：
其他好文 时间：
2015-04-13 16:49:23
阅读次数：
103
FAILED: Parse Error: line 1:27 cannot recognize input near ‘<EOF>‘ ‘<EOF>‘ ‘<EOF>‘ in select clause hsql的书写顺序： set 》add jar 》insert table （没有分号）select...
分类：
其他好文 时间：
2015-04-10 20:33:52
阅读次数：
190
我配置hive时出现不能加载自己修改的hive-site.xml等配置文件的问题。发现它总是加载默认的配置文件。 解决： hadoop的配置文件hadoop-env.sh中加上export HADOOP_CLASSPATH=$HIVE_HOVE/conf:$HADOOP_CLASSPATH 还...
分类：
数据库 时间：
2015-04-10 18:16:58
阅读次数：
193
1. 查询语言。由于 SQL 被广泛的应用在数据仓库中，因此，专门针对 Hive 的特性设计了类 SQL 的查询语言 HQL。熟悉 SQL 开发的开发者可以很方便的使用 Hive 进行开发。
2. 数据存储位置。Hive 是建立在 Hadoop 之上的，所有 Hive 的数据都是存储在 HDFS 中的。而数据库则可以将数据保存在块设备或者本地文件系统中。
3. ...
分类：
数据库 时间：
2015-04-10 18:05:34
阅读次数：
153
一、Eclipse 新建Other-》Map/Reduce Project工程工程自动包含了相关hadoop的jar包，另外还需分别导入以下hive和连接mysql的jar包：hive/lib/*.jarmysql-connector-java-5.1.24-bin.jar二、启运HiveServe...
分类：
数据库 时间：
2015-04-08 18:00:36
阅读次数：
285
