基本概念 首先，我针对的代码是Darwin Streaming Server 6.0.3未经任何改动的版本。 Darwin Streaming Server从设计模式上看，采用了Reactor的并发服务器设计模式，如果对Reactor有一定的了解会有助于对Darwin St...
INFO BlockManagerMaster: Registered BlockManagerException in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/streaming/kafka/KafkaUtils...
分类：
其他好文 时间：
2015-04-13 18:12:53
阅读次数：
252
Replicate操作的过程如下：1、读取源端传输过来的trail文件；执行data数据过滤和转换操作(如果配置了);2、DML操作:根据commit顺序，构造LCR; DDL操作:Replicate进程直接apply;3、Replicate通过lightweight streaming接口与目标....
分类：
系统相关 时间：
2015-04-11 22:25:59
阅读次数：
730
HDFS is a filesystem designed for storing very large files with streaming data access patterns, running on clusters of commodity hardware. Let’s examine this statement?in more detail:? Very lar...
分类：
其他好文 时间：
2015-04-08 06:49:45
阅读次数：
128
什么是Hadoop Streaming Hadoop提供的一个编程工具，允许用户使用任何可执行文件或脚本作为mapper和Reducer 一个例子(shell简洁版本) $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/contrib/streaming/hadoop...
分类：
其他好文 时间：
2015-04-05 11:51:12
阅读次数：
146
高级特性:
SIMD single instruction multiple data
单指令多数据
SIMD扩展 Streaming SIMD Extension (SSE)
流化扩展第二实现 SSE2
第三 SSE3
MMX 对整数执行SIMD操作
64位打包字节,字,双字整数,
MMx 0-7 映射到FPU寄存器R0-7
使用...
分类：
其他好文 时间：
2015-04-04 09:21:12
阅读次数：
243
什么是Hadoop Streaming Hadoop提供的一个编程工具，允许用户使用任何可执行文件或脚本作为mapper和Reducer 比如shell中的cat作为mapper，wc作为reducer $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/contrib...
分类：
其他好文 时间：
2015-04-03 22:31:42
阅读次数：
227
1 Flash流媒体服务器 Red52 Darwin Streaming Server3 流媒体服务器 Open Streaming Server4 MPEG4IP5 开源流媒体平台 FreeCast6 流媒体服务器 Yass7 开源流媒体平台 Stream-2-Stream8 Flumotion ...
分类：
其他好文 时间：
2015-04-02 23:54:25
阅读次数：
256
0、前言 3月31日是 Spark 五周年纪念日，从第一个公开发布的版本开始，Spark走过了不平凡的5年：从刚开始的默默无闻，到13年的鹊起，14年的大爆发。Spark核心之上有分布式的机器学习，SQL，streaming和图计算库。...
分类：
其他好文 时间：
2015-04-02 06:53:45
阅读次数：
273
这里对目前业界开源的一些实时流处理系统做一次小结，作为日后进行技术调研的参考资料。S4S4(Simple Scalable Streaming System)是Yahoo最新发布的一个开源流计算平台，它是一个通用的、分布式的、可扩展性良好、具有分区容错能力、支持插件的分布式流计算平台，在该平台上程序...
分类：
其他好文 时间：
2015-03-27 23:45:09
阅读次数：
164
