首先整体认识：Hadoop是磁盘级计算，进行计算时，数据在磁盘上，需要读写磁盘；Storm是内存级计算，数据直接通过网络导入内存。读写内存比读写磁盘速度快n个数量级。根据Harvard CS61课件，磁盘访问延迟约为内存访...
分类：
其他好文 时间：
2014-09-10 17:58:21
阅读次数：
195
阅读前提： ????????1 ： 您可能需要对 ?logback 日志系统有所了解 ???? ? ?2 ：您可能需要对于?kafka 有初步的了解 ???? ? ?3：请代码查看之前，请您仔细参考系统的业务图解 ? ? ? ? ...
分类：
其他好文 时间：
2014-09-10 16:01:21
阅读次数：
258
一、环境3台虚拟机，系统为centos，zookeeper版本为3.4.3ip与hostname分别为192.168.41.100/master，192.168.41.101/slave1，192.168.41.102/slave2二、安装1、解压下载到的apache-storm-0.9.2-incubating.zip#tarzvxfapache-storm-0.9.2-incubating.tar.gz-C/home/hadoop/2、..
分类：
其他好文 时间：
2014-09-10 02:45:10
阅读次数：
266
HDFS 的可靠性主要有一下几点:冗余副本策略机架策略心跳机制安全模式效验和回收站元数据保护快照机制1.冗余副本策略 可以在hdfs-site.xml中设置复制因子指定副本数量 所有数据块都可副本 DataNode启动时,遍历本地文件系统,产生一份HDFS数据块和本地文件的对应关系列表(blo...
分类：
其他好文 时间：
2014-09-09 19:56:19
阅读次数：
2227
简介Controller层的单元测试可以使得应用的可靠性得到提升，虽然这使得开发的时间有所增加，有得必失，这里我认为得到的比失去的多很多。Sping MVC3.2版本之后的单元测试方法有所变化，随着功能的提升，单元测试更加的简单高效。这里以4.1版本为例，记录Controller的单元测试流程。非常...
分类：
编程语言 时间：
2014-09-09 17:34:29
阅读次数：
407
简介 Controller层的单元测试可以使得应用的可靠性得到提升，虽然这使得开发的时间有所增加，有得必失，这里我认为得到的比失去的多很多。 Sping MVC3.2版本之后的单元测试方法有所变化，随着功能的提升，单元测试...
分类：
编程语言 时间：
2014-09-09 16:23:09
阅读次数：
281
我们想通过Storm提供的thrift接口来获取Toplogy的性能数据，比如emiited了多少，延迟是多少之类。但在使用Python开发过程中，发现getClusterInfo这个方法，会报错，thrift版本0.7，Storm版本为0.9.0.1，错误如下：Traceback (most re...
分类：
其他好文 时间：
2014-09-09 11:22:18
阅读次数：
167
gitlab搭建之互备模式gitlab搭建之互备模式前言：gitlab目前默认的部署方式是本地单机部署，为了提高gitlab环境的可靠性和稳定性，必须构建一套互备搭建方案：借助gitolilte的mirror功能可以实现此功能；搭建环境：2台服务器 -- RedHat 5.4内核版本 -- linu...
分类：
其他好文 时间：
2014-09-09 11:22:08
阅读次数：
2320
PS：如果既想获得 RHEL 的高质量、高性能、高可靠性，又需要方便易用(关键是免费)的软件包更新功能，那么FedoraProject 推出的 EPEL(Extra Packages forEnterpriseLinux)正好适合你。EPEL(http://fedoraproject.org/wik...
分类：
数据库 时间：
2014-09-08 07:29:16
阅读次数：
395
官方链接:http://storm.incubator.apache.org/documentation/Guaranteeing-message-processing.htmlWhat does it mean for a message to be “fully processed”?A tup...
分类：
其他好文 时间：
2014-09-08 00:59:26
阅读次数：
482
