问： ????今天花一天时间给centos6.3 64bit的系统搭建了hadoop，顺便把hive和mysql也装上了，测试什么的都没问题。 但是，迷茫了，我怎么用它分析网站的日志。他的工作原理迷迷糊糊的， 而且我这个hadoop用的...
分类：
其他好文 时间：
2014-07-23 21:35:46
阅读次数：
332
1.配置环境
1.引入jar包：hive-exec-0.8.0.jar 和 hadoop-core-0.20.2.jar
2.编写udf函数
1.extends UDF
2.重新定义UDF的evaluate函数。
package com.qunar.hiveudf;
import java.text.SimpleDateFormat;
import java.util.Calen...
分类：
其他好文 时间：
2014-07-23 20:58:47
阅读次数：
217
hive是什么？ 白话一点再加不严格一点，hive可以认为是map-reduce的一个包装。hive的意义就是把好写的hive的sql转换为复杂难写的map-reduce程序。 于是，hbase是什么？ 同样白话一点加不严格一点，hbase可以认为是...
分类：
其他好文 时间：
2014-07-23 13:57:36
阅读次数：
268
对于刚接触大数据的用户来说，要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析，以作抛砖引玉之用。Hive是什么？Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据仓库，注意这里不是数据库。Hive可以看作是用户编程...
分类：
其他好文 时间：
2014-07-22 22:45:54
阅读次数：
257
参考资料1.QuickStarthttps://cwiki.apache.org/confluence/display/Hive/GettingStarted2.Tutorialhttps://cwiki.apache.org/confluence/display/Hive/Tutorial3.官方...
分类：
其他好文 时间：
2014-07-22 22:44:14
阅读次数：
249
关于容器的处理，只是拿来用，理解不深，但是今天跑程序出了问题。释放空间未得到真正的释放。于是网上找了一些文章，解决的问题。解决方法：使用swap 加上clear，一起释放空间。原理：即先创建一个临时拷贝与原先的vector一致，值得注意的是，此时的拷贝（申请空间时系统分配容量）其容量是尽可能小的符合...
分类：
其他好文 时间：
2014-07-22 22:40:34
阅读次数：
145
最近在优化hiveSQL，
下面是一段排序，分组后取每组第一行记录的SQL
INSERT OVERWRITE TABLE t_wa_funnel_distinct_temp PARTITION (pt='${SRCTIME}')
SELECT
bussiness_id,
cookie_id,
session_id,
funnel_...
分类：
数据库 时间：
2014-07-22 17:42:31
阅读次数：
344
Hive不支持where子句中的子查询，SQL常用的exist in子句需要改写。这一改写相对简单。考虑以下SQL查询语句：SELECT a.key, a.value FROM a WHERE a.key in (SELECT b.key FROM B);改写成：SELECT a.key, a.va...
分类：
数据库 时间：
2014-07-22 08:07:35
阅读次数：
1966
关键字情形后果join其中一个表较小，但key集中分发到某一个或几个reduce上的数据远高于平均值大表与大表关联，但是分桶的判断字段0值或空值过多这些空值都由一个reduce处理，非常慢group byGroup by维度过小，某值的数量过多处理某值的reduce非常耗时count distinc...
分类：
其他好文 时间：
2014-07-22 08:07:33
阅读次数：
180
hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据...
分类：
其他好文 时间：
2014-07-22 00:20:35
阅读次数：
252
