上篇我刚刚学习完，Spilt的过程，还算比较简单的了，接下来学习的就是Map操作的过程了，Map和Reduce一样，是整个MapReduce的重要内容，所以，这一篇，我会好好的讲讲里面的内部实现过程。首先要说，MapTask，分为4种，可能这一点上有人就可能知道了，分别是Job-setup Task，Job-cleanup Task，Task-cleanup和Map Task。前面3个都是辅助性质...
分类：
其他好文 时间：
2014-11-15 11:33:03
阅读次数：
307
Flume的介绍就不多说了，大家可以自己搜索。但是目前网上大都是Flume 1.4版本或之前的资料，Flume 1.5感觉变化挺大的，如果你准备尝试一下，我这里给大家介绍一下最小化搭建方案，并且使用MongoSink将数据存入mongodb。完全单机运行，没有master，没有collector（说白了collector也就是一个agent，只是数据来源于多个其他agent），只有一个agent。...
分类：
数据库 时间：
2014-11-13 16:39:29
阅读次数：
464
在Redis服务端的代码量真的是比较大，如果一个一个API的学习怎么实现，无疑是一种效率很低的做法，所以我今天对服务端的实现代码的学习，重在他的执行流程上，而对于他的模块设计在上一篇中我已经分析过了，不明白的同学可以接着看上篇。所以我学习分析redis服务端的实现也是主要从main函数开始。在分析main执行流程之前，Redis的作者在这里声明了几个变量，这个我们有必要知道一下。
/* Our ...
分类：
其他好文 时间：
2014-11-08 10:31:44
阅读次数：
260
上次刚刚分析过了客户端的结构体分析，思路比较简答，清晰，最后学习的是服务端的实现，服务端在Redis可是重中之重，里面基本上囊括了之前模块中涉及到的所有知识点，从redis的头文件就可以看出了，redis.h代码量就已经破1000+行了，而且都还只是一些变量，宏定义的声明，和一些方法原型的声明。所以，今天的总结跟昨天一样，先不做具体的实现学习，先从全局的角度思考，服务端的整体设计思路，这从头文件的...
分类：
其他好文 时间：
2014-11-07 17:05:02
阅读次数：
149
主要介绍HashMap的四种循环遍历方式，各种方式的性能测试对比，根据HashMap的源码实现分析性能结果，总结结论。 1. Map的四种遍历方式 下面只是简单介绍各种遍历示例(以HashMap为例)，各自优劣会在本文后面进行分析给出结论。 (1) for each map.entrySet() J...
分类：
其他好文 时间：
2014-11-07 12:34:37
阅读次数：
133
分析了将近1个月的Redis源代码了，也到了最核心的，最贴近系统开始的地方了，我把他取名为main目录，里面就包括了2个重要的文件，redis-cli和redis文件，1个代表的是客户端的执行文件，1个代表的是服务端的文件，这2个也是整个系统最最核心的模块，所以我把他归结到main主程序模块了，主程序模块也是我学习Redis最后的一个模块，在这里一定能看到我之前看到的所有各个功能模块的痕迹。由于主...
分类：
其他好文 时间：
2014-11-06 10:55:16
阅读次数：
425
这几天在搭建flume服务并在其框架下开发，反复调试输入命令让人不厌其烦，因此在这里记录一下自己找到的一些小技巧：
首先，把自己的应用程序做成一个service是一个很好的选择，一个service就需要支持start 和 stop，start能启动程序，stop能找到start所启动的程序的进程并且关掉它。
可以直接根据/etc/init.d/下的服务脚本来改，但我遇到了问题：因为那些系统服务...
分类：
Web程序 时间：
2014-11-05 19:49:02
阅读次数：
320
基于Hadoop、Zookeeper、HBase、Flume框架上搭建一起来的一个日志分析系统。
使用Hadoop中的HDFS作为原始数据的存储，Flume作为数据的实时采集、转换等功能。
HBase作为数据的存储数据库，查询页面的数据都从这个分布式数据库中的一个表中获
取，根据应用程序的业务不同，查询不同的HBase表。实现了下面几大功能：
1 数据采集、转换和存储。正如上面介绍...
分类：
其他好文 时间：
2014-11-05 10:55:34
阅读次数：
182
【题意简述】：输入的k和p，k表示有几个字母，也就是输入有几行，p表示每个字母有几个，是以坐标的形式出现的（x,y）.现在让我们将相同的字母划分在一个矩形块中，问能否实现。
【分析】：唉，低级失误！！！记住！积累！
/*
Date: 2014/11/04
Time: 21:38
By : VID
Attention:
坐标的建立是理解这个问题，梳理思路的关键。
我的坐...
分类：
其他好文 时间：
2014-11-04 22:45:41
阅读次数：
187
1. ../flume/fchannel/spool/data/ 目录下发生缓存文件积压 可能原因：同一时间同一客户端下向两个监控目录mv文件；或同一时间多个客户端向服务端上传文件2.清空../flume/fchannel/spool/data/ 目录下文件重启后，监控目录下的文件发生积压，没有上传...
分类：
Web程序 时间：
2014-11-03 22:08:46
阅读次数：
590
