Hadoop 新 MapReduce 框架 Yarn 详解
分类：
其他好文 时间：
2014-11-05 22:39:25
阅读次数：
293
最近写MapReduce程序，出现了这么一个问题，程序代码如下： 1 package demo; 2 3 import java.io.IOException; 4 import java.util.HashMap; 5 import java.util.Map; 6 import java.ut....
分类：
其他好文 时间：
2014-11-05 20:59:58
阅读次数：
212
Hadoop-2.4.1中MapReduce作业的Mapper和Reducer综述...
分类：
移动开发 时间：
2014-11-05 13:05:32
阅读次数：
171
基于Greenplum Hadoop分布式平台的大数据解决方案及商业应用案例剖析适合人群：高级课时数量：96课时用到技术：MapReduce、HDFS、Map-Reduce、Hive、Sqoop涉及项目：Greenplum Hadoop大数据分析平台联系qq：1840215592Hadoop视频教程...
分类：
其他好文 时间：
2014-11-05 12:15:18
阅读次数：
187
Eclipse中部署hadoop2.3.0及在Eclipse中直接提交mapreduce任务
分类：
系统相关 时间：
2014-11-04 18:46:43
阅读次数：
372
转自：http://blog.csdn.net/leoleocmm/article/details/86020811. 概述在传统数据库（如：MYSQL）中，JOIN操作是非常常见且非常耗时的。而在HADOOP中进行JOIN操作，同样常见且耗时，由于Hadoop的独特设计思想，当进行JOIN操作时，...
分类：
其他好文 时间：
2014-11-04 17:05:01
阅读次数：
221
MapReduce has undergone a complete overhaul in hadoop-0.23 and we now have, what we call, MapReduce 2.0 (MRv2) or YARN.
The fundamental idea of MRv2 is to split up the two major functionalities of th...
分类：
其他好文 时间：
2014-11-04 00:15:00
阅读次数：
209
hadoop的核心分为两块，一是分布式存储系统-hdfs，这个我已经在上一章节大致讲了一下，另一个就是hadoop的计算框架-mapreduce。mapreduce其实就是一个移动式的基于key-value形式的分布式计算框架。其计算分为两个阶段，map阶段和reduce阶段，都是对数据的处理，由于其入门非常简单，但是若想理解其中各个环节及实现细节还是有一定程度的困难，因此我计划在本文中只是挑几个...
分类：
其他好文 时间：
2014-11-03 11:33:05
阅读次数：
265
基本思路，通过newlisp定时下载jobtracker页面，用正则表达式解析html中的table元素，然后获得最新的mapreduce的状态。每次获得装提数据后，存入mysql数据库，然后用tableau将mapreduce集群状态用报表呈现。这是jobtracker站点的数据这是Tableau绘制的报表这样就可以用数据可视化的方式展示Hadoop集群计算的压力状态。下面是newlisp代码，...
分类：
其他好文 时间：
2014-11-01 21:55:03
阅读次数：
381
阅读导读：
1.mahout单机内存算法实现和分布式算法实现分别存在哪些问题？
2.算法评判标准有哪些？
3.什么会影响算法的评分？
1.
Mahout推荐算法介绍
Mahout推荐算法，从数据处理能力上，可以划分为2类：
单机内存算法实现
基于Hadoop的分步式算法实现
1).
单机内存算法实现
单机内存算法实现：就是在单机...
分类：
编程语言 时间：
2014-11-01 17:53:30
阅读次数：
397
