今天写了一个SparkStreaming的测试代码，简单的测试流式读取HDFS中的文件，然后统计WordCount。代码如下：packagecom.company.scala.lk
importorg.apache.spark.streaming._
/**
*Createdbykaion15/1/14.
*/
objectSparkStreamingTest{
defloadFile():Unit={
valssc=newStrea..
分类：
其他好文 时间：
2015-01-14 18:21:00
阅读次数：
256
单位有一组业务一直都是使用Streaming压缩文本日志，大体上就是设置作业输出为BZ2格式，怎么输入就怎么输出，没有任何处理功能在里面。但是每行结尾都多出来一个TAB。终于，有一个业务需要使用TAB前的最后一个字段，不去掉不行了。虽然是个小问题，但是网上搜了一圈，也没有很..
分类：
其他好文 时间：
2015-01-11 06:19:41
阅读次数：
261
PostgreSQL数据库流复制主库和备库之间的延迟时间是多少，无论对HA还是负载均衡来说都应该做个评估。比如单纯的HA架构，当主库发生故障时，我们允许多少时间内的数据丢失。不废话，直接进入本次实验测试。 测试环...
分类：
数据库 时间：
2015-01-09 19:39:36
阅读次数：
269
map:-D stream.map.output.field.separator=. 定义mapoutput字段的分隔符为. 用户可以自定义分隔符（除了默认的tab）-D stream.num.map.output.key.fields=4 第四个.前面的是key，后面的是value。如果该行......
分类：
其他好文 时间：
2015-01-08 13:19:22
阅读次数：
223
英文原文：Reverse Ajax, Part 5: Event-driven web development 前言 这一文章系列展示了如何使用反向Ajax（Reverse Ajax）技术开发事件驱动的web应用，第1部分内容介绍了反向Ajax、轮询（polling）、流（streaming）、.....
分类：
Web程序 时间：
2015-01-07 16:47:33
阅读次数：
205
英文原文：Reverse Ajax, Part 4: Atmosphere and CometD 前言 这一系列文章展示了如何使用反向Ajax技术开发事件驱动的web应用，第1部分内容介绍了反向Ajax（Reverse Ajax）、polling（轮询）、streaming（流）、Comet和长.....
分类：
Web程序 时间：
2015-01-07 16:32:55
阅读次数：
202
hadoop通过hadoop streaming 来实现用非Java语言写的mapreduce代码。 对于一个一点Java都不会的我来说，这真是个天大的好消息。官网上hadoop streaming的介绍在：http://hadoop.apache.org/docs/r2.6.0/hadoop-ma...
分类：
编程语言 时间：
2015-01-07 12:51:28
阅读次数：
151
安装完Darwin Streaming Server，就可以使用VLC通过RTSP协议播放流媒体文件了。但是我现在有一个需求，需要将一台DSS（假设为A机）上的媒体文件发送到另一台DSS（假设为B机）上，客户端VLC通过访问B机来播放A机的媒体文件，也就是使用B机作为转发服务器。在网上找了很多关于配...
How to setup Darwin Streaming Server 6.0.3 on 32 or 64 bit Linux platforms, add custom functionality by developing plugins ("modules" as Apple calls t...
Darwin Streaming Server 安裝操作Darwin Streaming Server是蘋果公司推出的開放源碼、跨平台多媒體串流伺服器, 提供音樂 (mp3) 與影音 (3gp、mp4、mov) 串流播放功能, 可由 Windows Media Player、VLC media pl...
