永久自定义hive函数 1：做这件事的原因： 有一些函数是比较基础的，公用的，每次都要create?temporary?function麻烦了，这样的基础函数需要直接集成到hive中去，避免每次都要创建。 2：步骤 本人拥有一个账户z...
分类：
其他好文 时间：
2014-08-26 17:50:56
阅读次数：
281
oracle数据库中Date类型倒入到hive中出现时分秒截断问题解决方案1.问题描述： 用sqoop将oracle数据表倒入到hive中，oracle中Date型数据会出现时分秒截断问题，只保留了‘yyyy-MM-dd',而不是’yyyy-MM-dd HH24:mi:ss'格式的，后面的‘HH2....
分类：
数据库 时间：
2014-08-25 22:31:04
阅读次数：
589
引言：
上一篇文章《【甘道夫】Sqoop1.4.4 实现将 Oracle10g 中的增量数据导入 Hive0.13.1 ，并更新Hive中的主表》http://blog.csdn.net/u010967382/article/details/38735381 描述了增量更新Hive表的原理和Sqoop，Hive命令，本文基于上一篇文章的内容实现了shell脚本的编写，稍加修改就可用于实际工程...
分类：
其他好文 时间：
2014-08-25 19:18:54
阅读次数：
289
1.下载spark源码，在spark源码目录下面有个make-distribution.sh文件，修改里面的参数，使编译后能支持hive，修改后执行该文件。（要预先安装好maven才能编译）。2.将编译好的spark源码部署到机器上，然后将hive/conf中的hive-site.xml拷贝到spa...
分类：
其他好文 时间：
2014-08-25 10:02:34
阅读次数：
271
数据表大概150M，但是只有几个字段，导致行数特别多，当使用正则表达式去匹配时执行较慢。解决思路：增大map数; //设置reduce数为150，将原表分成150份，map数无法直接设置，因为和输入文件数和文件大小等几个参数决定set mapred.reduce.tasks = 150;//在map...
分类：
其他好文 时间：
2014-08-24 14:11:33
阅读次数：
390
目录： 一、Nginx的相关配置，以及测试数据 二、Hadoop中创建使用目录 三、Hive的日志表创建，并同步到Hbase中 1)创建自增长ID的类,并添加到Hive环境中 2)在Hive中创建日志表 3)将Nginx的日志数据导入到Hive日志表中 方法一：将本...
分类：
其他好文 时间：
2014-08-24 14:04:32
阅读次数：
246
下面以sales和things表为例。这两个表定义如下： hive> SELECT * FROM sales; Joe 2 Hank 4 Ali 0 Eve 3 Hank 2 hive> SELECT * FROM things; 2 Tie 4 Coat 3 Hat 1 Scarf 1. Inn....
分类：
其他好文 时间：
2014-08-24 00:18:31
阅读次数：
454
环境：Centos6.4 64位Hadoop2.2.0Sun JDK1.7.0_45hive-0.12.0准备工作：yum -y install lzo-devel zlib-devel gcc autoconf automake libtool开始了哦！（1）安装LZOwget http://ww...
分类：
其他好文 时间：
2014-08-23 15:18:00
阅读次数：
1180
今天有个etl开发在droppartition的时候遇到了问题，因为是使用了自己的账号，而hdfs中对应partition的文件属主是hdfs的，在删除时会因为权限问题报错，切换用户为hdfs，做droppartition的错误，还是报错，看来没这么简单。查看表的hdfs属性，目录的属主不是hdfs且目录对hdfs没..
分类：
其他好文 时间：
2014-08-23 02:29:00
阅读次数：
231
