这部分内容对了解系统和提高软件性能都有很大的帮助，kafka官网上也给出了比较详细的配置详单，但是我们还是直接从代码来看broker到底有哪些配置需要我们去了解的，配置都有英文注释，所以每一部分是干什么的就不翻译了，都能看懂：?123456789101112131415161718192021222...
分类：
其他好文 时间：
2015-01-08 16:53:32
阅读次数：
157
该项目分析了目前主流分布式通讯相关开源产品中使用的No Schema序列化产品Kryo，Fastjson，Hessian的序列化机制，通过构造相对比较复杂的数据model，针对序列化size，序列化时间进行了细致测试。通过测试报告可以清晰的看出Kryo无疑是大赢家，无论是序列化大小，还是速度上都更胜一筹，这也就不难理解为什么Spark,Storm等流计算框架会选它作为序列化工具。另外，可以看出这三款软件在BitSet，EnumSet等特殊类型的序列化上还有不少问题，作者也给Kryo，Fastjson社区提了...
分类：
其他好文 时间：
2015-01-07 18:49:57
阅读次数：
151
Storm Trident的核心数据模型是一批一批被处理的“流”，“流”在集群的分区在集群的节点上，对“流”的操作也是并行的在每个分区上进行。Trident有五种对“流”的操作：1.不需要网络传输的本地批次运算2.需要网络传输的“重分布”操作，不改变数据的内容3.聚合操作，网络传输是该操作的一部分4...
分类：
其他好文 时间：
2015-01-07 16:32:30
阅读次数：
304
对于No output fields defined for component:stream XxxBolt:null异常代码调用堆栈的分析过程...
分类：
其他好文 时间：
2015-01-07 13:14:40
阅读次数：
1336
如图所示，新建一个JAVA工程，编辑pom文件，pom文件内容如下【这里取出了parent】：
<project xmlns="http://maven.apache.org/POM/4.0.0"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xsi:schemaLocation="http:/...
分类：
移动开发 时间：
2015-01-07 13:13:02
阅读次数：
759
Storm保证每跳离开spout的消息都会被完全处理。本文介绍Storm是怎么保证每条消息都被完全处理并且作为用户该怎么做才能从Storm的可靠性保证受益。1、什么叫消息被完全处理？ 一个tuple从spout出发可以触发成千上万个tuples基于它。 一个tuple被认为处理失败了，如果它的消.....
分类：
其他好文 时间：
2015-01-06 17:19:16
阅读次数：
117
本文介绍Storm容错的设计细节。1、当一个worker进程死了会发生什么？ 当worker死了，supervisor会重启它。如果它尝试开启多次失败并且不能与nimbus发送心跳，Nimbus会重新设计worker到另外一台机器上。2、一个结点死了会发生什么？ 分派到这台机器上的任务将会超时并.....
分类：
其他好文 时间：
2015-01-06 17:13:18
阅读次数：
117
1、是什么构成一个可运行的topology? worker processes（worker进程），executors（线程）和tasks。 一台Storm集群里面的机器可能运行一个或多个worker进程，一个worker进程运行一个特定topology的executors。 一个worker...
分类：
其他好文 时间：
2015-01-06 15:27:01
阅读次数：
153
1.启动nimbus nohup ./storm nimbus & 2.启动supervisor nohup ./storm supervisor & 3.启动ui nohup ./storm ui & 4.启动log nohup ./storm log & 5.上传topo storm/storm-0.9.0.1/bin/storm jar storm_topo.jar...
分类：
其他好文 时间：
2015-01-06 12:14:08
阅读次数：
370
storm运行异常之No output fields defined for component:stream XxxBolt:null的可能原因...
分类：
其他好文 时间：
2015-01-05 18:45:02
阅读次数：
200
