原 Hadoop MapReduce 框架的问题对于业界的大数据存储及分布式处理系统来说，Hadoop 是耳熟能详的卓越开源分布式文件存储及处理框架，对于 Hadoop 框架的介绍在此不再累述，读者可参考Hadoop 官方简介。使用和学习过老 Hadoop 框架（0.20.0 及之前版本）的同仁应该...
分类：
其他好文 时间：
2015-01-07 00:32:51
阅读次数：
254
有时候我们在用，但是却不知道为什么。就像苹果砸到我们头上，这或许已经是很自然的事情了，但是牛顿却发现了地球的万有引力。ok了，希望通过了解MapReduce，我们能够写出更好的MapReduce例子。第一部分：MapReduce工作原理MapReduce 角色?Client ：作业提交发起者。?Jo...
分类：
其他好文 时间：
2015-01-07 00:28:51
阅读次数：
203
hadoop版本：1.1.2一、Mapper类的结构Mapper类是Job.setInputFormatClass()方法的默认值，Mapper类将输入的键值对原封不动地输出。org.apache.hadoop.mapreduce.Mapper类的结构如下：public class Mapper {...
分类：
其他好文 时间：
2015-01-06 23:07:20
阅读次数：
312
1、主要学习hadoop中的四大框架:hdfs、mapreduce、hive、hbase。这四大框架是hadoop最最核心的，学习难度最大的，也是应用最广泛的。2、熟悉了解hadoop基本知识及其所需要的知识例如java基础、linux环境、linux常用命令3、hadoop一些基本知识：hadoo...
分类：
其他好文 时间：
2015-01-06 15:21:31
阅读次数：
187
以horntonworks给出推荐配置为蓝本，给出一种常见的Hadoop集群上各组件的内存分配方案。方案最右侧一栏是一个8G VM的分配方案，方案预留1-2G的内存给操作系统，分配4G给Yarn/MapReduce，当然也包括了HIVE，剩余的2-3G是在需要使用HBase时预留给HBase的。Configuration FileConfiguration SettingValue Calcula...
分类：
其他好文 时间：
2015-01-06 08:38:43
阅读次数：
160
1、什么是Spark？ Spark是UC Berkeley AMP lab所开源的类Hadoop MapReduce的通用的并行计算框架，Spark基于map reduce算法实现的分布式计算，拥有Hadoop MadReduce所具有的优点；但不同于MapReduce的是Job中间输出的结果可以....
分类：
其他好文 时间：
2015-01-05 18:11:16
阅读次数：
323
mapreduce实现一个简单的单词计数的功能。一，准备工作：eclipse 安装hadoop 插件:下载相关版本的hadoop-eclipse-plugin-2.2.0.jar到eclipse/plugins下。二，实现:新建mapreduce project map 用于分词，reduce计数。...
分类：
其他好文 时间：
2015-01-05 14:49:19
阅读次数：
220
深入浅出Hadoop Mahout数据挖掘实战(算法分析、项目实战、中文分词技术)适合人群：高级课时数量：17课时用到技术：MapReduce并行分词程序 Mahout涉及项目：Hadoop综合实战-文本挖掘项目 Mahout数据挖掘工具咨询QQ：1840215592课程介绍本课程主要涉及以下内容的...
分类：
其他好文 时间：
2015-01-05 12:52:24
阅读次数：
532
单机模式是Hadoop的默认模式。当首次解压Hadoop的源码包时，Hadoop无法了解硬件安装环境，便保守地选择了最小配置。在这种默认模式下所有3个XML文件均为空。当配置文件为空时，Hadoop会完全运行在本地。因为不需要与其他节点交互，单机模式就不使用HDFS，也不加载任何Hadoop的守护进程。该模式主要用于开发调试MapReduce程序的应用逻辑。
1.配置hadoop_home/et...
分类：
其他好文 时间：
2015-01-04 11:25:01
阅读次数：
206
1.首先是jps,看看java进程是否都在
2.查看hdfs和yarn的web地址,看看能否出现
3.hdfs dfs -ls / ,看看目录是否列的出来
4../hadoop jar ../share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar pi 5 10 跑一个mr例子试试
这样就差不多了...
分类：
其他好文 时间：
2015-01-04 11:23:40
阅读次数：
139
