现象查询fct_traffic_navpage_path_detl的2015-01-19分区显示结果如下:Hive1.1.0返回结果如下,可见最后一个字段为NULL87FQEZT1UEDXJHJQPFFX7G7ET8S2DVPM2357378283356915011910444400487326356NULL87FQEZT1UEDXJHJQPFFX7G7ET8S2DVPM23573782833561215011910355800287326356NU..
分类:
其他好文 时间:
2015-04-16 14:35:15
阅读次数:
188
centos命令进入root用户su root1、 复制2、解压tar.gztar zxvf xxx.tar.gz3、文件操作-创建文件夹mkdir mkdir /usr/mkdir 文件名-移动文件mv [options] 源文件或目录 目标文件或目录—删除一个文件rm —删除一个文件夹 rm /...
分类:
Web程序 时间:
2015-04-15 21:22:43
阅读次数:
190
鉴于hadoop的版本太多,并且组建也多,对于新手来说安装起来往往不是很容易,本文专门以CDH5的发行版为例讲解了hadoop,hbase,hive的单机安装方法。并附上所用到的一些安装包,第三方jar包,配置文件等。...
分类:
其他好文 时间:
2015-04-15 13:32:45
阅读次数:
373
HIVE的分区通过在创建表时启用partitionby实现,用来partition的维度并不是实际数据的某一列,具体分区的标志是由插入内容时给定的。当要查询某一分区的内容时可以采用where语句,形似where tablename.partiti...
分类:
其他好文 时间:
2015-04-14 13:12:17
阅读次数:
104
I使用:
hive:启动hive
命令必须以分号结束,告诉hive立即执行该命令,不区分大小写
show tables;查看有哪些表
desc tablename; 查看表有哪些列
写sql命令
use udw;
select user_id,action_id
from udw_ml_user_action
where partition_date>=20150410
dis...
分类:
其他好文 时间:
2015-04-14 11:12:51
阅读次数:
165
HIVE的分区通过在创建表时启用partitionby实现,用来partition的维度并不是实际数据的某一列,具体分区的标志是由插入内容时给定的。当要查询某一分区的内容时可以采用where语句,形似where
tablename.partition_key >a来实现。
创建含分区的表。
命令原型:
CREATE TABLE page_view(viewTime INT,...
分类:
其他好文 时间:
2015-04-14 11:10:44
阅读次数:
177
在项目中遇到的一些问题,当我们需要使用sqoop在关系数据库与HDFS、Hive之间导入/导出数据时候遇到的一些问题,如何让sqoop支持自主研发的不能够支持全部jdbc接口数据库的导入导出,分析sqoop源码寻找解决方案。...
分类:
其他好文 时间:
2015-04-13 20:58:58
阅读次数:
180
首先,Hive 没有专门的数据存储格式,也没有为数据建立索引,用户可以非常自由的组织 Hive 中的表,只需要在创建表的时候告诉 Hive 数据中的列分隔符和行分隔符,Hive 就可以解析数据。
其次,Hive 中所有的数据都存储在 HDFS 中,Hive 中包含以下数据模型:Table,External Table,Partition,Bucket。
Hive 中的 Table 和数据库...
分类:
其他好文 时间:
2015-04-13 16:49:23
阅读次数:
103
随着EF5的发布,新增了对数据库(SQL Server) UDF的支持,具体可以看以下的连接:https://msdn.microsoft.com/en-us/data/hh859577.aspx,新发布的EF6也继承了这个特性。问题是这个UDF貌似只是针对TVF-Table Value Fun.....
分类:
数据库 时间:
2015-04-10 21:54:19
阅读次数:
1518
FAILED: Parse Error: line 1:27 cannot recognize input near ‘<EOF>‘ ‘<EOF>‘ ‘<EOF>‘ in select clause hsql的书写顺序: set 》add jar 》insert table (没有分号)select...
分类:
其他好文 时间:
2015-04-10 20:33:52
阅读次数:
190