之前写过一篇这个文章:http://blog.csdn.net/stark_summer/article/details/47361603,那个时候 linux环境 spark 使用snappy方式压缩任然不好用,而今天我同事hive on hadoop 使用snappy压缩方式也报这个错,此刻的我,感觉这个问题 一定要解决
我想了想,只能使用最笨的方式先解决这个问题了,将libsnappyja...
分类:
移动开发 时间:
2015-08-31 17:20:25
阅读次数:
467
SparkSQL引入了一种新的RDD——SchemaRDD,SchemaRDD由行对象(Row)以及描述行对象中每列数据类型的Schema组成;SchemaRDD很象传统数据库中的表。SchemaRDD可以通过RDD、Parquet文件、JSON文件、或者通过使用hiveql查询hive数据来建立。SchemaRDD除了可以和RDD一样操作外,还可以通过registerTempTable注册成临时表,然后通过SQL语...
分类:
数据库 时间:
2015-08-31 10:08:08
阅读次数:
377
最近一直在学习和使用kylin,分享一下学习的收获以及对kylin的理解~...
分类:
其他好文 时间:
2015-08-30 12:56:10
阅读次数:
13106
类型转换hive原子数据类型可以进行隐式数据类型转换,如果某个表达式使用INT,那么TINYINT会转化为INT,hive不会进行反向转换,除非使用cast才操作。
数据类型转化规则:
任何整数类型都会转换为范围更广的类型。
所有整数类型、FLOAT、STRING类型都能隐式转换为double类型。
TINYINT、SM...
分类:
其他好文 时间:
2015-08-30 11:28:43
阅读次数:
167
分区和桶:hive把表组织成分区,这是一种根据分区列的值进行粗略划分的机制。使用分区可以加快数据分片的查询速度。
表或分区可以进一步划分为桶,它会为数据提供额外的数据结构从而获得更高效的查询处理。比如:根据用户ID来划分桶,我们可以在所有用户集合的随机样本上快速计算基于用户的查询。分区:
分区是在创建表时用PARTITIONED BY子句进行定义。该子句需要定义列的列表。create tab...
分类:
其他好文 时间:
2015-08-30 11:28:43
阅读次数:
244
一、Spark是什么
1、与Hadoop的关系
如今Hadoop已经不能狭义地称它为软件了,Hadoop广泛的说可以是一套完整的生态系统,可以包括HDFS、Map-Reduce、HBASE、HIVE等等。。
而Spark是一个计算框架,注意,是计算框架
其可以运行在Hadoop之上,绝大部分情况下是基于HDFS
说代替Hadoop其实是代替Hadoop中的Map-Reduce,用来解决M...
分类:
其他好文 时间:
2015-08-30 01:07:34
阅读次数:
1083
简单自定义函数只需继承UDF类,然后重构evaluate函数即可LowerCase.java:package com.example.hiveudf; import org.apache.hadoop.hive.ql.exec.UDF; public final class LowerCase ex...
分类:
其他好文 时间:
2015-08-29 11:03:08
阅读次数:
239
1. 设置默认需要导出的hive数据库 vi ~/.hiverc use logbase; 2. 创建数据临时目录 hdfs dfs -mkdir /tmp/hive-export 3.生成导出数据脚本 hive -e "show tables " | awk ‘{printf "export table %s to @/tmp/hi...
分类:
其他好文 时间:
2015-08-27 19:27:52
阅读次数:
175
hadoop的生态圈:ETL数据的抽娶转换、加载1)安装hive1.解压#tarzvxfhive-0.13.0.tar.gz-C/usr/local#cd/usr/local#ln-sv/usr/local/hive-0.12.0/usr/local/hive2.替换jar包,保持hbase0.98与hadoop1.2一致#cd/usr/hive/lib#rm-rfhbase-0.94*#find/usr/hbase/lib-name"hbase*.ja..
分类:
其他好文 时间:
2015-08-27 19:18:59
阅读次数:
415