码迷,mamicode.com
首页 >  
搜索关键字:hive    ( 5904个结果
最笨的方法解决 使用Snappy 压缩方式报错“java.lang.UnsatisfiedLinkError: no snappyjava in java.library.path”
之前写过一篇这个文章:http://blog.csdn.net/stark_summer/article/details/47361603,那个时候 linux环境 spark 使用snappy方式压缩任然不好用,而今天我同事hive on hadoop 使用snappy压缩方式也报这个错,此刻的我,感觉这个问题 一定要解决 我想了想,只能使用最笨的方式先解决这个问题了,将libsnappyja...
分类:移动开发   时间:2015-08-31 17:20:25    阅读次数:467
Hive Developing
Hive Developing...
分类:其他好文   时间:2015-08-31 11:50:31    阅读次数:204
Spark入门实战系列--6.SparkSQL(下)--Spark实战应用
SparkSQL引入了一种新的RDD——SchemaRDD,SchemaRDD由行对象(Row)以及描述行对象中每列数据类型的Schema组成;SchemaRDD很象传统数据库中的表。SchemaRDD可以通过RDD、Parquet文件、JSON文件、或者通过使用hiveql查询hive数据来建立。SchemaRDD除了可以和RDD一样操作外,还可以通过registerTempTable注册成临时表,然后通过SQL语...
分类:数据库   时间:2015-08-31 10:08:08    阅读次数:377
OLAP引擎——Kylin介绍
最近一直在学习和使用kylin,分享一下学习的收获以及对kylin的理解~...
分类:其他好文   时间:2015-08-30 12:56:10    阅读次数:13106
Hive学习笔记(二)
类型转换hive原子数据类型可以进行隐式数据类型转换,如果某个表达式使用INT,那么TINYINT会转化为INT,hive不会进行反向转换,除非使用cast才操作。 数据类型转化规则: 任何整数类型都会转换为范围更广的类型。 所有整数类型、FLOAT、STRING类型都能隐式转换为double类型。 TINYINT、SM...
分类:其他好文   时间:2015-08-30 11:28:43    阅读次数:167
Hive学习笔记(三)
分区和桶:hive把表组织成分区,这是一种根据分区列的值进行粗略划分的机制。使用分区可以加快数据分片的查询速度。 表或分区可以进一步划分为桶,它会为数据提供额外的数据结构从而获得更高效的查询处理。比如:根据用户ID来划分桶,我们可以在所有用户集合的随机样本上快速计算基于用户的查询。分区: 分区是在创建表时用PARTITIONED BY子句进行定义。该子句需要定义列的列表。create tab...
分类:其他好文   时间:2015-08-30 11:28:43    阅读次数:244
Spark整理(一):Spark是啥以及能干啥
一、Spark是什么 1、与Hadoop的关系 如今Hadoop已经不能狭义地称它为软件了,Hadoop广泛的说可以是一套完整的生态系统,可以包括HDFS、Map-Reduce、HBASE、HIVE等等。。 而Spark是一个计算框架,注意,是计算框架 其可以运行在Hadoop之上,绝大部分情况下是基于HDFS 说代替Hadoop其实是代替Hadoop中的Map-Reduce,用来解决M...
分类:其他好文   时间:2015-08-30 01:07:34    阅读次数:1083
Hive自定义函数UDF示例
简单自定义函数只需继承UDF类,然后重构evaluate函数即可LowerCase.java:package com.example.hiveudf; import org.apache.hadoop.hive.ql.exec.UDF; public final class LowerCase ex...
分类:其他好文   时间:2015-08-29 11:03:08    阅读次数:239
hive 数据迁移
1. 设置默认需要导出的hive数据库 vi ~/.hiverc use logbase; 2. 创建数据临时目录 hdfs dfs -mkdir /tmp/hive-export 3.生成导出数据脚本 hive -e "show tables " | awk ‘{printf "export table %s to @/tmp/hi...
分类:其他好文   时间:2015-08-27 19:27:52    阅读次数:175
hadoop三----基于hadoop伪分布式整合hive和hbase
hadoop的生态圈:ETL数据的抽娶转换、加载1)安装hive1.解压#tarzvxfhive-0.13.0.tar.gz-C/usr/local#cd/usr/local#ln-sv/usr/local/hive-0.12.0/usr/local/hive2.替换jar包,保持hbase0.98与hadoop1.2一致#cd/usr/hive/lib#rm-rfhbase-0.94*#find/usr/hbase/lib-name"hbase*.ja..
分类:其他好文   时间:2015-08-27 19:18:59    阅读次数:415
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!