摘要：Hadoop之MapReduce程序包括三个部分：Mapper，Reducer和作业执行。本文介绍和分析MapReduce程序三部分结构。...
分类：
其他好文 时间：
2014-06-20 12:32:07
阅读次数：
197
转自：使用Python实现Hadoop MapReduce程序英文原文：Writing an Hadoop MapReduce Program in Python根据上面两篇文章，下面是我在自己的ubuntu上的运行过程。文字基本采用博文使用Python实现Hadoop MapReduce程序， 打...
分类：
编程语言 时间：
2014-06-19 06:01:59
阅读次数：
366
写MapReduce程序时候，有时候需要用到全局变量，常用的全局变量实现由三种方式：Configuration设置、DistributedCache、文件传参。博主在使用Configuration时，在Mapper中却没法读取全局变量。请看博主是如何一步一步找到问题所在的...
分类：
其他好文 时间：
2014-06-16 12:21:33
阅读次数：
296
近期開始使用MapReduce，发现网上大部分样例都是对文本数据进行处理的，也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理就可以。对于文本数据处理，这个类还是能满足一部分应用场景。可是假设要处理以二进制形式结构化记录存储的文件时，这些类就不再适合了。本文以一个简单的应用...
分类：
其他好文 时间：
2014-06-16 06:14:38
阅读次数：
297
================= Incremental mapReduce =================...
分类：
数据库 时间：
2014-06-15 10:27:58
阅读次数：
209
hadoop上进行kmeans聚类，一次迭代只使用一个mapreduce...
分类：
其他好文 时间：
2014-06-10 14:01:32
阅读次数：
236
Hbase简介
Hbase 全称是Hadoop DataBase ，是一种开源的，可伸缩的，高可靠，高性能，面向列的分布式存储系统。
类似于Google的BigTable，其分布式计算采用MapReduce，通过MapReduce完成大块数据加载和全表扫描操作。文件存储系统是HDFS，通过Zookeeper来完成状态管理协同服务。不过BigTable只支持一级索引，而Hbase支持一级和二级索...
分类：
其他好文 时间：
2014-06-08 18:24:32
阅读次数：
563
using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
namespace mapReduce
{
public static class helper
{
public static Dictionary MapReduce(
...
分类：
其他好文 时间：
2014-06-08 10:39:41
阅读次数：
227
