package wordcount;
import java.io.IOException;
import java.util.StringTokenizer;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.Int...
分类：
其他好文 时间：
2014-06-05 09:12:55
阅读次数：
203
本文来自于NoSQLFan联合作者@koven2049，他在淘宝从事Hadoop及HBase相关的应用和优化。对Hadoop、HBase都有深入的了解，本文就是其在工作中对HBase的应用优化小结，分享给大家。
目 录 [ - ]
前言原因应用情况部署、运维和监控测试与发布改进和优化将来计划
前言
hbase是从 hadoop中分离出来的apache顶级开源项目。由...
分类：
其他好文 时间：
2014-06-05 08:43:04
阅读次数：
275
scp 命令随记
scp file username@remoteIp:directory
创建tar包
tar zcvf file.tar.gz directory
tar zcvf hadoop.tar.gz /hadoop...
分类：
其他好文 时间：
2014-06-05 07:36:35
阅读次数：
199
中国气象局公共服务中心与阿里云达成战略合作
5 月 27 日上午消息，中国气象局公共气象服务中心与阿里云达成战略合作，共同挖掘气象大数据的深层价值。海量气象数据将通过阿里云计算平台，变成可实时分析应用的“活数据”，服务国民经济和社会民生。这是国家部委首次采用民营科技公司提供的云计算和大数据服务。
目前，我国每年新增的气象数据达到 PB 量级(1PB=1024TB，1TB=1024GB)...
分类：
其他好文 时间：
2014-06-05 03:07:37
阅读次数：
329
准备开题报告了，先要熟悉一下领域范围，《集体智慧编程》参考一下论点。简单的思路是看一下哪个话题最热门，用google学术来衡量一下论文数，虽然不够精确但是足以反应一点什么。
当然是选择最近比较热门的，同时参考一下国内的论文数目情况。
关键字
总的
2014
国内总数
2014
推荐
2,480,000
...
分类：
其他好文 时间：
2014-06-05 01:59:36
阅读次数：
241
我们已经进入了大数据处理时代，需要快速、简单的处理海量数据，企业邮箱服务也面临着大数据处理，海量数据处理的三个主要因素：大容量数据、多格式数据和速度。DMCTextFilter和HTMLFilter是由北京红樱枫软件有限公司研制和开发的纯文本抽出和HTML转换通用程序库产品。本产品可以从各种各样的文档格式的数据中或从插入的OLE对象中，快速抽出纯文本数据信息和转换成HTML文件。便于用户实现对多种文档数据资源信息进行统一管理，编辑，检索和浏览。...
分类：
其他好文 时间：
2014-06-05 01:54:15
阅读次数：
220
最近开始使用MapReduce，发现网上大部分例子都是对文本数据进行处理的，也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理即可。对于文本数据处理，这个类还是能满足一部分应用场景。但是如果要处理以二进制形式结构化记录存储的文件时，这些类就不再适合了。
本文以一个简单的应用场景为例：对按照二进制格式存储的整数做频数统计。以此来说明如何重写FileInputFormat来实现对非文本数据的处理。...
分类：
其他好文 时间：
2014-06-04 21:53:46
阅读次数：
341
在使用Bulkload向HBase导入数据中, 自己编写Map与使用KeyValueSortReducer生成HFile时, 出现了下面的异常:
java.io.IOException: Non-increasing Bloom keys: 201301025200000000000003520000000000000500 after 20131119510000000000000001...
分类：
编程语言 时间：
2014-06-03 05:55:44
阅读次数：
359
YARN对内存资源和CPU资源采用了不同的资源隔离方案。对于内存资源，它是一种限制性资源，它的量的大小直接决定应用程序的死活，因为应用程序到达内存限制，会发生OOM，就会被杀死。CPU资源一般用Cgroups进行资源控制，Cgroups控制资源测试可以参见这篇博文Cgroups控制cpu，内存，io...
分类：
其他好文 时间：
2014-05-31 18:47:58
阅读次数：
264
