码迷,mamicode.com
首页 >  
搜索关键字:hadoop-mapreduce    ( 502个结果
一张图告诉你是需要 SQL 还是 Hadoop
很多朋友问时下如火如荼的 Hadoop 是否适合引进我们自己的项目,什么时候用 SQL,什么时候用 Hadoop,它们之间如何取舍?Apache Accumulo 用一张图来回答你这个问题,对于不同的数据场景,如何选取正确的数据存储处理工具进行了详细描述。Apache Accumulo 是美国大数据分析及架构专家,Koverse CTO 及联合创始人。...
分类:数据库   时间:2015-07-22 18:55:23    阅读次数:234
Hive JOIN使用详解
转自http://shiyanjun.cn/archives/588.htmlHive是基于Hadoop平台的,它提供了类似SQL一样的查询语言HQL。有了Hive,如果使用过SQL语言,并且不理解Hadoop MapReduce运行原理,也就无法通过编程来实现MR,但是你仍然可以很容易地编写出特定...
分类:其他好文   时间:2015-07-18 00:25:26    阅读次数:232
Hadoop MapReduce编程入门案例
Hadoop入门例程简介一个、有些指令(1)Hadoop新与旧API差异新API倾向于使用虚拟课堂(象类),而不是接口。由于这更easy扩展。比如,能够无需改动类的实现而在虚类中加入一个方法(即用默认的实现)。在新的API中。mapper和reducer如今都是虚类。新的API 放在org.apac...
分类:其他好文   时间:2015-07-12 14:10:02    阅读次数:102
海量数据处理之从Hadoop框架与MapReduce模式中谈海量数据处理(淘宝技术架构)
几周前,当我最初听到,以致后来初次接触Hadoop与MapReduce这两个东西,我便稍显兴奋,觉得它们很是神秘,而神秘的东西常能勾起我的兴趣,在看过介绍它们的文章或论文之后,觉得Hadoop是一项富有趣味和挑战性的技术,且它还牵扯到了一个我更加感兴趣的话题:海量数据处理。     由此,最近凡是空闲时,便在看“Hadoop”,“MapReduce”“海量数据处理”这方面的论文。但在看论文的...
分类:其他好文   时间:2015-07-12 12:56:13    阅读次数:172
hadoop中mapreduce的常用类(二)
云智慧(北京)科技有限公司陈鑫NullWritable不想输出的时候,把它当做key。NullWritable是Writable的一个特殊类,序列化的长度为0,实现方法为空实现,不从数据流中读数据,也不写入数据,只充当占位符,如在MapReduce中,如果你不需要使用键或值,你就可以将键或值声明为Null..
分类:其他好文   时间:2015-07-07 13:12:43    阅读次数:114
Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server addresses.
解决方法: org.apache.hadoop hadoop-mapreduce-client-common 2.4.1
分类:其他好文   时间:2015-07-05 10:56:18    阅读次数:1431
MapReduce on HBase使用与集成
为什么需要MapReduce on HBase?hbase本身并没有提供很好地二级索引方式。如果直接使用hbase提供的scan直接扫描方式,在数据量很大的情况下就会非常慢。可以使用Mapreduce的方法操作hbase数据库。Hadoop MapReduce提供相关API,可以与hbase数据库无缝连接。 API链接: http://hbase.apache.org/devapidocs/ind...
分类:其他好文   时间:2015-07-03 22:07:15    阅读次数:249
Spark:一个高效的分布式计算系统
http://tech.uc.cn/?p=2116概述什么是SparkSpark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架,Spark基于map reduce算法实现的分布式计算,拥有Hadoop MapReduce所具有的优点;但不同于M...
分类:其他好文   时间:2015-07-02 17:24:03    阅读次数:135
【Hadoop】10、Hadoop的mapreduce搭建
Hadoop的mapreduce搭建   MapReduce   首先是spliting吧一个块切割成各种小的   MapReduce的split大小 Max.split(100M) Min.split(10M) Block(64M) Max(min.split, min(max.split,block))         MapReduce的架构   主多从结构...
分类:其他好文   时间:2015-06-30 18:28:22    阅读次数:102
MapReduce计数器
计数器输出 运行完毕作业之后的计数器输出 内置计数器 hadoop为每个作业提供了若干内置计数器,用以描述各项指标。 文件系统计数器 所属类:org.apache.hadoop.mapreduce.FileSystemCounter BYTES_READ:文件系统读取的字节数 BYTES_WRITTEN:文件系统写的字节数 FileInputFormat任务计数器 ...
分类:其他好文   时间:2015-06-28 12:50:10    阅读次数:168
502条   上一页 1 ... 26 27 28 29 30 ... 51 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!