今天在用Streaming-Python处理一个MapReduce程序时，发现reducer失败，原因为耗费内存达到极限了！仔细查看代码时，发现有一个集合里保存着URL，而URL长度是比较长的，直接保存确实是耗费内存，于是想到用压缩存储，然后用的时候再解压，虽然处理时间增加，但是耗费内存大大降低！
具体就是使用zlib模块
import zlib
raw_data = "hello,wor...
分类：
编程语言 时间：
2014-11-08 07:06:23
阅读次数：
323
输入块（InputSplit）：一个输入块描述了构成MapReduce程序中单个map任务的一个单元。把一个MapReduce程序应用到一个数据集上，即是指一个作业，会由几个（也可能几百个）任务组成。Map任务可能会读取整个文件，但一般是读取文件的一部分。默认情况下，FileInputFormat....
分类：
其他好文 时间：
2014-11-07 23:28:43
阅读次数：
364
（1）以怎样的方式从分片中读取一条记录，每读取一条记录都会调用RecordReader类；（2）系统默认的RecordReader是LineRecordReader，如TextInputFormat；而SequenceFileInputFormat的RecordReader是SequenceFile...
分类：
其他好文 时间：
2014-11-07 23:27:35
阅读次数：
263
在上一篇文章中我们讲解了一个基本的MapReduce作业由那些基本组件组成，从高层来看，所有的组件在一起工作时如下图所示：图4.4高层MapReduce工作流水线 MapReduce的输入一般来自HDFS中的文件，这些文件分布存储在集群内的节点上。运行一个MapReduce程序会在集群的许多节点.....
分类：
其他好文 时间：
2014-11-07 23:24:45
阅读次数：
218
Greenplum分布式数据库开发入门到精通(架构、部署、管理、开发和调优)课程分类：Hadoop适合人群：初级课时数量：41课时用到技术：GP、MapReduce编程、装载和卸载数据涉及项目：角色权限及客户端认证管理咨询qq：1840215592双十一全场5折，前所未有的最低价，详情查看：http...
分类：
数据库 时间：
2014-11-07 16:37:50
阅读次数：
325
由于项目需求，需要通过Java程序提交Yarn的MapReduce的计算任务。与一般的通过Jar包提交MapReduce任务不同，通过程序提交MapReduce任务需要有点小变动，详见以下代码。
以下为MapReduce主程序，有几点需要提一下：
1、在程序中，我将文件读入格式设定为WholeFileInputFormat，即不对文件进行切分。
2、为了控制reduc...
分类：
编程语言 时间：
2014-11-06 23:40:42
阅读次数：
500
Baidu和Google的差距在哪里? 搜索引擎需要对抓取到的结果进行管理。当索引结果越来越多时，保证存储和查询速度，保证数万台服务器内容一致的难度越来越高。Google于03至06年左右公布了三篇论文，描述了GFS、BigTable、MapReduce三种技术以解决这些问题。由于Google并没有...
分类：
其他好文 时间：
2014-11-06 23:23:49
阅读次数：
365
hadoop 的bin目录下面一个rcc命令，网上介绍很少。看了一下源码。发现可以用来生成 java和c++的hadoop Record 类代码，比起自己直接实现writable 接口，简单很多而且不容易出错 实现自定义的writable对象...
分类：
其他好文 时间：
2014-11-06 20:07:43
阅读次数：
278
1、非交互模式执行HQL语句
$HIVE_HOME/bin/hive -e 'select * from movie limit 10'
会现实mapreduce的进度，但不会进入hive的交互模式，最终现实查询结果...
分类：
其他好文 时间：
2014-11-06 17:40:53
阅读次数：
122
以WordCount程序为例，假设有三台DataNode，每台DataNode有不一样的数据，如下表格所示：DataNode1DataNode2DataNode3who are you arewho am i arewho is he am经过Map函数后，生成以下键值对：DataNode1Data...
分类：
其他好文 时间：
2014-11-06 10:42:02
阅读次数：
195
