广告产品技术部有一个作业总是卡在某个reduce上，运行了好几个小时也运行不完，经过他们初步排查找不着问题原因，发邮件让我帮看看，我看了一下这个streaming作业是用python实现的，而且听他们描述，3月17之前该作业是没问题的，以下是可能存在问题的地方：...
分类：
其他好文 时间：
2015-03-21 12:42:36
阅读次数：
150
执行流程数据的接收StreamingContext实例化的时候，需要传入一个SparkContext，然后指定要连接的spark matser url，即连接一个spark engine，用于获得executor。实例化之后，首先，要指定一个接收数据的方式，如val lines = ssc.socketTextStream("localhost", 9999)这样从socket接收文本数据。这个步骤...
分类：
其他好文 时间：
2015-03-19 16:25:47
阅读次数：
155
《Hadoop 实战》中的“通过脚本使用Streaming”其中的一个示例：使用脚本来均匀采样一个按行组织的数据文件，在Ubuntu终端输入如下命令：结果如下：修改命令：输出文件如下：
分类：
其他好文 时间：
2015-03-17 17:35:35
阅读次数：
132
做个笔记，记录streaming任务执行的整个流程，下文使用的源码是master分支的代码，1.2.1版本已经发布，应该和1.2.1差别不大1、streaming程序是从StreamingContext.start()开始的，做一个必要的参数检查然后启动jobschedulerStreamingContext.scaladefstart():Unit=synchronized..
分类：
其他好文 时间：
2015-03-06 19:18:24
阅读次数：
322
作者Michael G. Noll是瑞士的一位工程师和研究员，效力于Verisign，是Verisign实验室的大规模数据分析基础设施（基础Hadoop）的技术主管。本文，Michael详细的演示了如何将Kafka整合到Spark Streaming中。 期间，...
分类：
其他好文 时间：
2015-03-03 16:51:30
阅读次数：
209
作者Michael G. Noll是瑞士的一位工程师和研究员，效力于Verisign，是Verisign实验室的大规模数据分析基础设施（基础Hadoop）的技术主管。本文，Michael详细的演示了如何将Kafka整合到Spark Streaming中。 期间， Michael还提到了将Kafka整合到 Spark Streaming中的一些现状，非常值得阅读，虽然有一些信息在Spark 1.2版...
分类：
其他好文 时间：
2015-03-03 15:11:59
阅读次数：
269
./configure \--prefix=/usr/local/nginx \--sbin-path=/usr/local/nginx/sbin/nginx \--conf-path=/usr/local/nginx/conf/nginx.conf \--error-log-path=/usr/l...
分类：
其他好文 时间：
2015-03-03 14:57:29
阅读次数：
1048
原文地址：http://www.adobe.com/cn/devnet/flashmediaserver/articles/multicast_streaming_osmf.html使用OSMF实现实时多播流处理在本文中，将借助Adobe Flash Media Live Encoder、Adobe...
分类：
其他好文 时间：
2015-02-22 23:01:30
阅读次数：
309
基于流的数据读写，太抽象了，什么叫基于流，什么是流？Hadoop是Java语言写的，所以想理解好Hadoop的Streaming Data Access，还得从Java流机制入手。流机制也是JAVA及C++中的一个重要的机制，通过流使我们能够自由地操作包括文件，内存，IO设备等等中的数据。首先，流是...
分类：
编程语言 时间：
2015-02-22 19:35:17
阅读次数：
247
1、NetworkWordCount
1.1、开启发送数据的服务器
cd /home/jianxin/spark
java -jar LoggerSimulation.jar 9999 10
java -jar NetworkWordCount.jar localhost 9999
netstat -nalp | grep 9999
lsof -i:99991.2、...
分类：
其他好文 时间：
2015-02-16 14:20:21
阅读次数：
183
