很多朋友问时下如火如荼的 Hadoop 是否适合引进我们自己的项目,什么时候用 SQL,什么时候用 Hadoop,它们之间如何取舍?Apache Accumulo 用一张图来回答你这个问题,对于不同的数据场景,如何选取正确的数据存储处理工具进行了详细描述。Apache Accumulo 是美国大数据分析及架构专家,Koverse CTO 及联合创始人。...
分类:
数据库 时间:
2015-07-22 18:55:23
阅读次数:
234
转自http://shiyanjun.cn/archives/588.htmlHive是基于Hadoop平台的,它提供了类似SQL一样的查询语言HQL。有了Hive,如果使用过SQL语言,并且不理解Hadoop MapReduce运行原理,也就无法通过编程来实现MR,但是你仍然可以很容易地编写出特定...
分类:
其他好文 时间:
2015-07-18 00:25:26
阅读次数:
232
Hadoop入门例程简介一个、有些指令(1)Hadoop新与旧API差异新API倾向于使用虚拟课堂(象类),而不是接口。由于这更easy扩展。比如,能够无需改动类的实现而在虚类中加入一个方法(即用默认的实现)。在新的API中。mapper和reducer如今都是虚类。新的API 放在org.apac...
分类:
其他好文 时间:
2015-07-12 14:10:02
阅读次数:
102
几周前,当我最初听到,以致后来初次接触Hadoop与MapReduce这两个东西,我便稍显兴奋,觉得它们很是神秘,而神秘的东西常能勾起我的兴趣,在看过介绍它们的文章或论文之后,觉得Hadoop是一项富有趣味和挑战性的技术,且它还牵扯到了一个我更加感兴趣的话题:海量数据处理。
由此,最近凡是空闲时,便在看“Hadoop”,“MapReduce”“海量数据处理”这方面的论文。但在看论文的...
分类:
其他好文 时间:
2015-07-12 12:56:13
阅读次数:
172
云智慧(北京)科技有限公司陈鑫NullWritable不想输出的时候,把它当做key。NullWritable是Writable的一个特殊类,序列化的长度为0,实现方法为空实现,不从数据流中读数据,也不写入数据,只充当占位符,如在MapReduce中,如果你不需要使用键或值,你就可以将键或值声明为Null..
分类:
其他好文 时间:
2015-07-07 13:12:43
阅读次数:
114
解决方法: org.apache.hadoop hadoop-mapreduce-client-common 2.4.1
分类:
其他好文 时间:
2015-07-05 10:56:18
阅读次数:
1431
为什么需要MapReduce on HBase?hbase本身并没有提供很好地二级索引方式。如果直接使用hbase提供的scan直接扫描方式,在数据量很大的情况下就会非常慢。可以使用Mapreduce的方法操作hbase数据库。Hadoop MapReduce提供相关API,可以与hbase数据库无缝连接。
API链接: http://hbase.apache.org/devapidocs/ind...
分类:
其他好文 时间:
2015-07-03 22:07:15
阅读次数:
249
http://tech.uc.cn/?p=2116概述什么是SparkSpark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于M...
分类:
其他好文 时间:
2015-07-02 17:24:03
阅读次数:
135
Hadoop的mapreduce搭建
MapReduce
首先是spliting吧一个块切割成各种小的
MapReduce的split大小
Max.split(100M)
Min.split(10M)
Block(64M)
Max(min.split, min(max.split,block))
MapReduce的架构
主多从结构...
分类:
其他好文 时间:
2015-06-30 18:28:22
阅读次数:
102
计数器输出
运行完毕作业之后的计数器输出
内置计数器
hadoop为每个作业提供了若干内置计数器,用以描述各项指标。
文件系统计数器
所属类:org.apache.hadoop.mapreduce.FileSystemCounter
BYTES_READ:文件系统读取的字节数
BYTES_WRITTEN:文件系统写的字节数
FileInputFormat任务计数器
...
分类:
其他好文 时间:
2015-06-28 12:50:10
阅读次数:
168