(五)使用StAX接口操作xml StAX,全称Streaming API for XML,一种全新的,基于流的JAVA XML解析标准类库。其最终版本于 2004 年 3 月发布,并成为了 JAXP 1.4(将包含在即将发布的 Java 6 中)的一部分。在某种程度上来说,StAX与SAX一样是基 ...
分类:
其他好文 时间:
2016-10-15 21:55:30
阅读次数:
291
1.1 IntroductionKafka is a distributed streaming platform. What exactly does that mean?kafka是一个分布式的流式平台,它到底是什么意思? We think of a streaming platform as ...
分类:
其他好文 时间:
2016-10-15 13:52:24
阅读次数:
236
1.1 IntroductionKafka is a distributed streaming platform. What exactly does that mean?kafka是一个分布式的流式平台,它到底是什么意思? We think of a streaming platform as ...
分类:
其他好文 时间:
2016-10-14 23:07:40
阅读次数:
344
直播源地址HLS直播地址 (HTTP Live Streaming) /* 香港卫视HKS */ http://live.hkstv.hk.lxdns.com/live/hks/playlist.m3u8 /* 好美味 */ http://182.92.189.193:1935/live/h_foo ...
分类:
其他好文 时间:
2016-10-14 17:51:21
阅读次数:
1757
spark streaming 开发实例 本文将分以下几部分 spark 开发环境配置 创建spark项目 编写streaming代码示例 调试 环境配置: spark 原生语言是scala, 我用的是spark-1.4.1-bin-hadoop2.6,可以查阅官方说明,用的是scala-2.10. ...
分类:
其他好文 时间:
2016-10-12 20:01:21
阅读次数:
376
Large Scale Distributed Semi-Supervised Learning Using Streaming Approximation Google 官方 Blog 链接:https://research.googleblog.com/2016/10/graph-powered ...
分类:
移动开发 时间:
2016-10-09 14:10:01
阅读次数:
311
SparkStreaming写数据到Redis参考2篇文章:1、Kafka+SparkStreaming+Redis实时系统实践https://www.iteblog.com/archives/13782、spark-stream访问Redishttp://www.tuicool.com/articles/n6BRzi3
分类:
其他好文 时间:
2016-10-06 22:58:23
阅读次数:
195
随着用户使用天数的增加,不管你的业务是扩大还是缩减了,为什么你的大数据中心架构保持线性增长的趋势?很明显需要一个稳定的基本架构来保障你的业务线。当你的客户处在休眠期,或者你的业务处在淡季,你增加的计算资源就处在浪费阶段;相对应地,当你的业务在旺季期,或者每周一每个人对上周的数据进行查询分析,有多少次 ...
分类:
其他好文 时间:
2016-10-04 16:33:17
阅读次数:
379
王家林老师的课程:2016年大数据Spark“蘑菇云”行动之sparkstreaming消费flume采集的kafka数据Directf方式作业。一、基本背景Spark-Streaming获取kafka数据的两种方式Receiver与Direct的方式,本文介绍Direct的方式。具体的流程是这样的:1、Direct方式是直接连接到kafka的节..
分类:
Web程序 时间:
2016-10-02 07:20:52
阅读次数:
261
近期,听了王家林老师的2016年大数据Spark“蘑菇云”行动,需要将flume,kafka和Sparkstreaming进行整合。感觉一时难以上手,还是先从简单着手吧:我的思路是这样的,flume产生数据,然后输出到sparkstreaming,flume的源数据是netcat(地址:localhost,端口22222),输出是av..
分类:
Web程序 时间:
2016-10-01 06:31:51
阅读次数:
209