原文:https://iwringer.wordpress.com/2015/08/03/patterns-for-streaming-realtime-analytics/ Introduction More and more use cases, we want to react to data ...
分类:
移动开发 时间:
2018-05-21 00:06:02
阅读次数:
241
原文:https://wso2.com/library/articles/2018/02/stream-processing-101-from-sql-to-streaming-sql-in-ten-minutes/ We have entered an era where competitive ...
分类:
数据库 时间:
2018-05-21 00:03:09
阅读次数:
236
RDD持久化 --------------- memory disk off-heap serial replication Memory_ONLY(true , false ,false , true ,1) 广播变量 --------------- driver端切成小块,存放到blockman... ...
分类:
数据库 时间:
2018-05-20 11:50:30
阅读次数:
298
Github地址 RxLibrary工程:1.rxjava2 + retrofit2的封装,常用的请求(Get,Post,文件上传,文件下载),简单便捷,支持自定义loading等属性。2.RxBus的使用,用法完全与EvenBus一样。 效果图 集成 或者 一、rxjava2 + retrofit ...
分类:
编程语言 时间:
2018-05-18 15:48:55
阅读次数:
806
欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 本文将帮助您使用基于HBase的Apache Spark Streaming。Spark Streaming是Spark API核心的一个扩展,支持连续的数据流处理。 什么是Spark Streaming? 首先,什么是流(streamin ...
分类:
其他好文 时间:
2018-05-16 18:33:39
阅读次数:
169
Spark 实践——基于 Spark Streaming 的实时日志分析系统 本文基于《Spark 最佳实践》第6章 Spark 流式计算。 我们知道网站用户访问流量是不间断的,基于网站的访问日志,即 Web log 分析是典型的流式实时计算应用场景。比如百度统计,它可以做流量分析、来源分析、网站分 ...
分类:
其他好文 时间:
2018-05-15 22:43:43
阅读次数:
509
欢迎大家前往腾讯云+社区,获取更多腾讯海量技术实践干货哦~ 让我们来看一下机器学习是如何应用于医护行业以及如何借助Apache Spark对患者的监控数据进行处理 现如今,IoT数据,实时流式数据分析(streaming analytics),机器学习以及分布式计算的组合相比之前有了长足的进步,同时 ...
分类:
其他好文 时间:
2018-05-14 19:47:42
阅读次数:
247
本次DTCC数据库技术大会是第9届了,这次大会虽然有不少公司的产品推介,总体来说还是有不少干货的。 专场较多,有选择地主要听了大数据实践跟流式计算这块。网易跟滴滴的分享比较不错。 了解到了现在大家是用spark streaming/ Flink来进行流式计算的比较多。 我们之前都是用kafka+st ...
分类:
数据库 时间:
2018-05-13 12:03:59
阅读次数:
197
用Python编写WordCount程序任务 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数(频数),并按照单词字母顺序排序,每个单词和其频数占一行,单词和频数之间有间隔 (1)首先创建一个文件夹 mkdir wc (2)编写两个mapper函数 2、将 ...
分类:
其他好文 时间:
2018-05-12 02:51:11
阅读次数:
125
用Python编写WordCount程序任务 程序 WordCount 输入 一个包含大量单词的文本文件 输出 文件中每个单词及其出现次数(频数),并按照单词字母顺序排序,每个单词和其频数占一行,单词和频数之间有间隔 ...
分类:
其他好文 时间:
2018-05-12 02:47:17
阅读次数:
147