Storm里面引入DRPC主要是利用storm的实时计算能力来并行化CPUintensive的计算。DRPC的stormtopology以函数的参数流作为输入，而把这些函数调用的返回值作为topology的输出流。DRPC其实不能算是storm本身的一个特性，它是通过组合storm的原语spout，...
分类：
其他好文 时间：
2014-10-01 17:02:51
阅读次数：
360
??
1 C/S模型—UDP
UDP处理模型
说明：
由于UDP不需要维护连接，程序逻辑简单了很多，但是UDP协议是不可靠的，实际上有很多保证通讯可靠性的机制需要在应用层实现。
编译运行server，在两个终端里各开一个client与server交互，看看server是否具有并
发服务的能力。用Ctrl+C关闭server，然后再运行server，看此时...
分类：
其他好文 时间：
2014-10-01 01:20:20
阅读次数：
407
复杂软件驱动系统的UCM与UML 复杂软件驱动系统有许多类型，包括面向对象、基于代理、实时和分布式系统。它们具有许多属性，例如大规模、协同性、分散控制、及时性、可靠性、变化多端及特色丰富的功能、运行时组织...
分类：
其他好文 时间：
2014-09-30 11:49:59
阅读次数：
597
1.Storm是什么:Storm简单来说，就是分布式实时计算系统。按照storm作者的说法，storm对于实时计算的意义类似于hadoop对于批处理的意义。2.Storm的主要特点：1.简单的编程模型。类似于MapReduce降低了并行批处理复杂性，Storm降低了进行实时处理的复杂性。2.可以使用各种编程语..
分类：
其他好文 时间：
2014-09-29 20:00:11
阅读次数：
225
XML作为一种业界公认的数据交换格式，在各个平台与语言之上，都有广泛使用和实现。其标准型，可靠性，安全性......毋庸置疑。在android平台上，我们要想实现数据存储和数据交换，经常会使用到xml数据格式和xml文件。小提示：android中存储数据一般有如下几种：SharedPreferenc...
分类：
移动开发 时间：
2014-09-28 16:25:23
阅读次数：
275
本文是我对分布式计算的算子这层的一些认识和想法。因为最近自己的开发任务也是这方面相关的，公司内部有自研的类流式计算框架需要做一层算子层。我主要分析的是流式系统上实现算子这一点入手，对比现有计算框架和业界正在开展的项目，分析分析这件事的表面和背后深层的含义，以及可想象空间。...
分类：
其他好文 时间：
2014-09-26 19:59:38
阅读次数：
220
storm与kafka单机功能整合很顺利，但是到了storm集群环境和数据处理性能时则出现了一些问题，现将测试过程和问题简单记录如下： ? ? 性能指标：每分钟处理至少100万的信息（csv格式，100bytes左右），信息...
分类：
其他好文 时间：
2014-09-26 12:59:39
阅读次数：
228
Storm Cluster安装 ================ @[安装|storm] [官方文档：设置storm cluster](http://storm.incubator.apache.org/documentation/Setting-up-a-Storm-cluster.html) ####1. 上传storm安装包到服务器 - 在1...
分类：
其他好文 时间：
2014-09-26 11:34:49
阅读次数：
199
http://www.infoq.com/cn/news/2014/09/admaster-hadoop卢亿雷是现任AdMaster技术副总裁，曾在联想研究院、百度基础架构部、Carbonite China工作，关注高可靠、高可用、高扩展、高性能系统服务，以及Hadoop/HBase/Storm/S...
分类：
编程语言 时间：
2014-09-25 20:31:17
阅读次数：
325
