Hive是一个基于hadoop的数据仓库工具。Hive的查询语言是hive ql。一种类似sql的语言。
Hive支持的数据类型有
1整形:
Tinyint 1字节整型
Smallint 2字节整型
Bigint 8字节整型
2.布尔型
Boolean
3浮点型
Float
Double
4字符串类型
String
5.符合类型
...
分类:
其他好文 时间:
2014-07-22 23:03:34
阅读次数:
393
在AWS里用Elastic Map Reduce 开一个Cluster然后登陆master node并编译以下程序:import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
...
分类:
其他好文 时间:
2014-07-22 23:01:32
阅读次数:
405
本文将介绍Hadoop中的重点MapReduce的入门知识。(1)MapReduce概述MapReduce是一种分布式计算模型,由Google提出,主要用于搜索领域,解决海量数据的计算问题。MR由两个阶段组成:Map和Reduce,在Hadoop中用户只需要实现map()和reduce()两个函数,即可实现分布式计算,非常简单..
分类:
其他好文 时间:
2014-05-03 01:53:48
阅读次数:
519
本文在上一节的基础上通过一个简单的MR示例对MapReduce的运行流程进行分析。假设有两行数据,分别是helloyou,hellome,我们要统计其中出现的单词以及每个单词出现的次数。所得的结果为hello2you1me1(1)大致运行流畅1.解析成2个<k,v>,分别是<0,helloyou><10,hel..
分类:
其他好文 时间:
2014-05-03 01:51:40
阅读次数:
382
Lease 的机制:hdfs支持write-once-read-many,也就是说不支持并行写,那么对读写的互斥同步就是靠Lease实现的。Lease说白了就是一个有时间约束的锁。客户端写文件时需要先申请一个Lease,对应到namenode中的LeaseManager,客户端的client name就作为一个lease的holder,即租约持有者。LeaseManager起什么作用呢?
读写过程的容错是怎么做的?数据块是如何复制的?数据块的恢复机制?本文都有涉及。...
分类:
其他好文 时间:
2014-05-02 23:22:14
阅读次数:
450
在Ubuntu14.04下使用Hadoop2.4进行大数据开发之基础环境准备篇...
分类:
其他好文 时间:
2014-05-02 19:56:21
阅读次数:
367
Hadoop集群配置完成,web监控界面的50070和50030端口不需用户验证即可访问,对生产环境是不容许的,需要加上安全机制。实验环境:OS:Centos
6.5 x64, Soft:Hadoop 1.2.11、修改core-site.xml,增加如下内容,配置完成后拷贝到其他节点上。 hado...
分类:
Web程序 时间:
2014-05-02 12:17:15
阅读次数:
1290
Pig是Apache的一个开源项目,用于简化MapReduce的开发,实质Pig将转化为MapReduce作业,使开发人员更多专注数据而不是执行的本质,是不懂java人员的福利。Pig由以下两部分组成:1、表达数据流的语言,成为PigLatin。2、运行PigLatin程序的执行环境。目前有两种环境:在单个JVM..
分类:
其他好文 时间:
2014-05-02 07:52:55
阅读次数:
591
本文主要针对广告检索领域的查询重写应用,根据查询-广告点击二部图,在MapReduce框架上实现SimRank++算法,关于SimRank++算法的背景和原理请参看前一篇文章《基于MapReduce的SimRank++算法研究与实现》。
SimRank++的矩阵形式的计算公式为:
算法主要步骤如下:
Step1: 计算权值矩阵,并获取最大Query编号和最大广告编号;
Step2:...
分类:
其他好文 时间:
2014-05-01 08:21:53
阅读次数:
527
MapReduce--Logistic Regression...
分类:
其他好文 时间:
2014-04-30 22:37:39
阅读次数:
830