HDFS is a filesystem designed for storing very large files with streaming data access patterns, running on clusters of commodity hardware. Let’s examine this statement?in more detail:? Very lar...
分类：
其他好文 时间：
2015-04-08 06:49:45
阅读次数：
128
什么是Hadoop Streaming Hadoop提供的一个编程工具，允许用户使用任何可执行文件或脚本作为mapper和Reducer 一个例子(shell简洁版本) $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/contrib/streaming/hadoop...
分类：
其他好文 时间：
2015-04-05 11:51:12
阅读次数：
146
高级特性:
SIMD single instruction multiple data
单指令多数据
SIMD扩展 Streaming SIMD Extension (SSE)
流化扩展第二实现 SSE2
第三 SSE3
MMX 对整数执行SIMD操作
64位打包字节,字,双字整数,
MMx 0-7 映射到FPU寄存器R0-7
使用...
分类：
其他好文 时间：
2015-04-04 09:21:12
阅读次数：
243
什么是Hadoop Streaming Hadoop提供的一个编程工具，允许用户使用任何可执行文件或脚本作为mapper和Reducer 比如shell中的cat作为mapper，wc作为reducer $HADOOP_HOME/bin/hadoop jar $HADOOP_HOME/contrib...
分类：
其他好文 时间：
2015-04-03 22:31:42
阅读次数：
227
1 Flash流媒体服务器 Red52 Darwin Streaming Server3 流媒体服务器 Open Streaming Server4 MPEG4IP5 开源流媒体平台 FreeCast6 流媒体服务器 Yass7 开源流媒体平台 Stream-2-Stream8 Flumotion ...
分类：
其他好文 时间：
2015-04-02 23:54:25
阅读次数：
256
0、前言 3月31日是 Spark 五周年纪念日，从第一个公开发布的版本开始，Spark走过了不平凡的5年：从刚开始的默默无闻，到13年的鹊起，14年的大爆发。Spark核心之上有分布式的机器学习，SQL，streaming和图计算库。...
分类：
其他好文 时间：
2015-04-02 06:53:45
阅读次数：
273
这里对目前业界开源的一些实时流处理系统做一次小结，作为日后进行技术调研的参考资料。S4S4(Simple Scalable Streaming System)是Yahoo最新发布的一个开源流计算平台，它是一个通用的、分布式的、可扩展性良好、具有分区容错能力、支持插件的分布式流计算平台，在该平台上程序...
分类：
其他好文 时间：
2015-03-27 23:45:09
阅读次数：
164
广告产品技术部有一个作业总是卡在某个reduce上，运行了好几个小时也运行不完，经过他们初步排查找不着问题原因，发邮件让我帮看看，我看了一下这个streaming作业是用python实现的，而且听他们描述，3月17之前该作业是没问题的，以下是可能存在问题的地方：...
分类：
其他好文 时间：
2015-03-21 12:42:36
阅读次数：
150
执行流程数据的接收StreamingContext实例化的时候，需要传入一个SparkContext，然后指定要连接的spark matser url，即连接一个spark engine，用于获得executor。实例化之后，首先，要指定一个接收数据的方式，如val lines = ssc.socketTextStream("localhost", 9999)这样从socket接收文本数据。这个步骤...
分类：
其他好文 时间：
2015-03-19 16:25:47
阅读次数：
155
《Hadoop 实战》中的“通过脚本使用Streaming”其中的一个示例：使用脚本来均匀采样一个按行组织的数据文件，在Ubuntu终端输入如下命令：结果如下：修改命令：输出文件如下：
分类：
其他好文 时间：
2015-03-17 17:35:35
阅读次数：
132
