期间遇到了无法转value的值为int型，我采用try catch解决
str2 2
str1 1
str3 3
str1 4
str4 7
str2 5
str3 9
用的\t隔开，得到结果
str1 1,4
str2 2,5
str3 3,9
str4 7
我这里map，reduce都是单独出来的类，用了自定义的key
package com.kan...
分类：
其他好文 时间：
2014-06-05 06:52:38
阅读次数：
353
最近开始使用MapReduce，发现网上大部分例子都是对文本数据进行处理的，也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理即可。对于文本数据处理，这个类还是能满足一部分应用场景。但是如果要处理以二进制形式结构化记录存储的文件时，这些类就不再适合了。
本文以一个简单的应用场景为例：对按照二进制格式存储的整数做频数统计。以此来说明如何重写FileInputFormat来实现对非文本数据的处理。...
分类：
其他好文 时间：
2014-06-04 21:53:46
阅读次数：
341
(转载请注明出处：http://blog.csdn.net/buptgshengod)1.參会有感
首先还是非常感谢CSDN能给我票，让我有机会參加这次中国云计算峰会。感觉不写点什么对不起CSDN送我的门票（看到网上卖一千多一张呢）。
还是得从国家会议中心说起，两年前lz以前在那当过IDF...
分类：
其他好文 时间：
2014-06-03 08:21:39
阅读次数：
299
DistributedCache 是一个提供给Map/Reduce框架的工具，用来缓存文件（text, archives, jars and so on）...
分类：
其他好文 时间：
2014-06-03 02:18:37
阅读次数：
332
1.vertica概念
面向数据分析的数据仓库系统解决方案
2.vertica关键特性
Ø 标准的SQL接口：可以利用已有的BI、ETL、Hadoop/MapReduce和OLTP环境
Ø 高可用：内置的冗余也提升了查询速度
Ø 自动化数据库设计：数据库自动安装、优化、管理
Ø 高级压缩：十多种压缩算法最多可节省90%的空间
Ø 大规模并行处理：运行于低成本的x86型Lin...
分类：
其他好文 时间：
2014-06-02 23:09:24
阅读次数：
483
第一章 线程安全的对象生命期管理第二章 线程同步精要第三章
多线程服务器的适用场合与常用编程模型第四章
C++多线程系统编程精要1.（P84）11个常用的最基本Pthreads函数：2个：线程的创建和等待结束（join）。封装为muduo：：Thread4个：mutex的创建、销毁、加锁、解锁。封装...
分类：
编程语言 时间：
2014-06-02 08:58:26
阅读次数：
434
hadoop yarn的重构，根本的思想是将 JobTracker 两个主要的功能分离成单独的组件，这两个功能是资源管理和任务调度 / 监控。新的资源管理器全局管理所有应用程序计算资源的分配，每一个应用的 ApplicationMaster 负责相应的调度和协调。一个应用程序无非是一个单独的传统的 MapReduce 任务或者是一个 DAG( 有向无环图 ) 任务。ResourceManager 和每一台机器的节点管理服务器能够管理用户在那台机器上的进程并能对计算进行组织。...
分类：
其他好文 时间：
2014-06-02 02:27:16
阅读次数：
332
x86台式机，window7 64位系统
wmware虚拟机(x86的台式机至少是4G内存，才能开2台虚机)
centos6.4操作系统
hadoop-2.2.0.tar.gz
jdk-6u24-linux-i586.bin
WinScp 远程文件传输工具，很好用。可以用于windows和虚拟机Linux之间文件相互拷贝。...
分类：
其他好文 时间：
2014-06-02 02:23:23
阅读次数：
315
【ARM编程模型】硬件: 电路原理图软件:体系结构, 指令集,
寄存器组【ARM编程技术】汇编/C语言编译, 链接, 烧写和调试windows:MDKlinux :gcc【ARM接口编程】电路原理图datasheet
------> 裸机程序(不带操作系统,直接操作硬件)中断技术初始化程序【ARM基...
分类：
其他好文 时间：
2014-06-01 12:28:31
阅读次数：
293
对于不同文件中的数据，有时候有对应关系，需要进行连接(join)，获得一个新的文件以便进行分析。比如有两个输入文件a.txt,b.txt，其中的数据格式分别如下
1 a
2 b
3 c
4 d
1 good
2 bad
3 ok
4 hello
需要将其连接成一个新的如下的文件：
a good
b bad
c ok
d hello
处理步骤可以分成两步：
1.map阶段，将两个输入文件...
分类：
其他好文 时间：
2014-06-01 09:05:01
阅读次数：
325
