近期開始使用MapReduce，发现网上大部分样例都是对文本数据进行处理的，也就是说在读取输入数据时直接使用默认的TextInputFormat进行处理就可以。对于文本数据处理，这个类还是能满足一部分应用场景。可是假设要处理以二进制形式结构化记录存储的文件时，这些类就不再适合了。本文以一个简单的应用...
分类：
其他好文 时间：
2014-06-16 06:14:38
阅读次数：
297
# vi /etc/yum.repos.d/dag.repo[dag]name=Dag RPM Repository for Red Hat Enterprise Linuxbaseurl=http://apt.sw.be/redhat/el$releasever/en/$basearch/dagg...
分类：
数据库 时间：
2014-06-15 23:52:17
阅读次数：
500
package com.sogou.hadoop.test;public class Sudoku {/**验证该值是否合法*/ public boolean isValidSudoku(char[][] board,int x,int y){ int row,col; ...
分类：
编程语言 时间：
2014-06-15 00:51:03
阅读次数：
292
本文介绍的 Zookeeper 是以 3.4.5 这个稳定版本为基础，最新的版本可以通过官网http://hadoop.apache.org/zookeeper/来获取，Zookeeper 的安装非常简单，下面将从单机模式和集群模式两个方面介绍 Zookeeper 的Windows安装和配置.CSD...
一年前，准备使用mongDb自带的map,reduce功能模拟hadoop，换个思路做一个简易的大数据分拆再结合存储的办法；这个功能可以用于数据日志或者游戏数据之类，进行周期性归纳和按照自己需求重组数据;以下代码实现了将每日数据collecttion:gameLog日期的数据统计出不同的collec...
分类：
数据库 时间：
2014-06-14 22:38:35
阅读次数：
432
如何使用Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，但是 Zookeeper 并不是用来专门存储数据的，它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基...
分类：
编程语言 时间：
2014-06-14 22:05:43
阅读次数：
487
reduce的个数到底和什么相关，本问题详细阐述了这个问题...
分类：
其他好文 时间：
2014-06-14 00:05:03
阅读次数：
362
求监控组的大哥大妹子们干点事，真不容易！要问他们是谁？他们是神。轻易别找他们，因为找了也是白找。上次因为python和redis长时间brpop的时候，会有线程休眠挂起的情况，所有通知报警平台被下线了。这次算是完美解决了。再把他给上线。这两公司的告警已经开始往我这边的接口..
分类：
数据库 时间：
2014-06-13 21:08:17
阅读次数：
414
(转)最近要用到FileSystemWatcher来监控某个目录中的文件是否发生改变，如果改变就执行相应的操作（具体操作如：打开文档，添加一行，保存）。但在开发过程中，发现FileSystemWatcher在文件创建或修改后，会触发多个Created或Changed事件，具体原因就是处理文件的过程中...
分类：
其他好文 时间：
2014-06-13 19:33:19
阅读次数：
511
