PriviledgedActionException as:crabman (auth:SIMPLE) cause:java.io.IOException: Cannot initialize Cluster. Please check your configuration for mapreduce.framework.name and the correspond server address...
分类：
其他好文 时间：
2014-09-24 22:24:48
阅读次数：
471
这是一个maven 工程，安装完mvn 3.2.2后， mvn --version
Apache Maven 3.2.3 (33f8c3e1027c3ddde99d3cdebad2656a31e8fdf4; 2014-08-12T04:58:10+08:00)
Maven home: /opt/apache-maven-3.2.3
Java version: 1.7.0_09, vendor: O...
分类：
其他好文 时间：
2014-09-24 14:58:57
阅读次数：
182
/* 版权声明：可以任意转载，转载时请务必标明文章原始出处和作者信息 .*/ CopyMiddle: 张俊林 节选自《大数据日知录：架构与算法》十四章，书籍目录在此1.使用Mapreduce进行图计算 使用MapReduce框架来针对大规模图数据进行计算的研究工作相对较少，这主...
分类：
数据库 时间：
2014-09-23 23:06:45
阅读次数：
281
一、MapReduce简介1.1 MapReduce概述 MapReduce是一种分布式计算模型，由Google提出，主要用于搜索领域，解决海量数据的计算问题。MR由两个阶段组成：Map和Reduce，用户只需要实现map()和reduce()两个函数，即可实现分布式计算，其执行流程如图1。这两个....
分类：
其他好文 时间：
2014-09-23 22:14:05
阅读次数：
368
Hadoop中shuffle阶段流程分析MapReduce longteng9个月前 (12-23)399浏览0评论宏观上，Hadoop每个作业要经历两个阶段：Map phase和reduce phase。对于Map phase，又主要包含四个子阶段：从磁盘上读数据-》执行map函数-》combin...
分类：
其他好文 时间：
2014-09-23 20:42:45
阅读次数：
252
mongoDB的map reduce使用
示例：
res = db.runCommand({
mapreduce:'liveEpgUserVisits',
map:function() {
emit({provice:this.provice}, {"data":[{"mac":this.mac}],visit:this.visitNum, use...
分类：
数据库 时间：
2014-09-23 19:55:17
阅读次数：
268
这篇文章将接着上一篇wordcount的例子，抽象出最简单的过程，一探MapReduce的运算过程中，其系统调度到底是如何运作的。情况一：数据和运算分开的情况 wordcount这个例子的是hadoop的helloworld程序，作用就是统计每个单词出现的次数而已。其过程是：现在我用文字再来描述下....
分类：
其他好文 时间：
2014-09-23 14:36:44
阅读次数：
227
Storm是一个分布式的、可靠的、容错的数据流处理系统（流式计算框架，可以和mapreduce的离线计算框架对比理解）。 整个任务被委派给不同的组件，每个组件负责一个简单的特定的处理任务。Storm集群的输入流是一个叫...
分类：
其他好文 时间：
2014-09-23 13:10:17
阅读次数：
348
开始聊mapreduce，mapreduce是hadoop的计算框架，我学hadoop是从hive开始入手，再到hdfs，当我学习hdfs时候，就感觉到hdfs和mapreduce关系的紧密。这个可能是我做技术研究的思路有关，我开始学习某一套技术总是想着这套技术到底能干什么，只有当我真正理解了这套....
分类：
Web程序 时间：
2014-09-22 20:46:13
阅读次数：
286
