0.案例概述 本案例利用Spark+Kafka实时分析男女生每秒购物人数，利用Spark Streaming实时处理用户购物日志，然后利用websocket将数据实时推送给浏览器，最后浏览器将接收到的数据实时展现，案例的整体框架图如下： ![此处输入图片的描述][1] 下面分析详细分析下上述步骤： ...
分类：
其他好文 时间：
2018-05-10 23:23:20
阅读次数：
315
大数据实时计算完整项目案例，Flume+Kafka+Storm+Redis构建大数据实时处理系统：实时统计网站各省份PV、UV+动态展示。
分类：
Web程序 时间：
2018-04-16 21:56:43
阅读次数：
539
在企业应用系统领域，会面对不同系统之间的通信、集成与整合，尤其当面临异构系统时，这种分布式的调用与通信变得越发重要。其次，系统中一般会有很多对实时性要求不高的但是执行起来比较较耗时的地方，比如发送短信，邮件提醒，更新文章阅读计数，记录用户操作日志等等，如果实时处理的话，在用户访问量比较大的情况下，对 ...
分类：
Web程序 时间：
2018-04-04 12:40:46
阅读次数：
241
Druid的发送数据和查询数据 Druid 开篇 － 大数据实时探索性分析平台 官网 Druid 一次海量数据实时处理的实践 使用HDFS作为Druid的deepStorage 在哪里下载druid 正式版本下载：maven中央仓库: http://central.maven.org/maven2/ ...
分类：
其他好文 时间：
2018-03-30 21:50:14
阅读次数：
383
从storm到spark streaming，再到flink，流式计算得到长足发展， 依托于spark平台的spark streaming走出了一条自己的路，其借鉴了spark批处理架构，通过批处理方式实现了实时处理框架。为进一步了解spark streaming的相关内容，飞马网于3月20日晚邀请到历任百度大数据的高级工程师—王富平，在线上直播中，王老师针对spark streaming高级特性
分类：
其他好文 时间：
2018-03-21 21:14:25
阅读次数：
228
随着大数据技术在各行各业的广泛应用，要求能对海量数据进行实时处理的需求越来越多，同时数据处理的业务逻辑也越来越复杂，传统的批处理方式和早期的流式处理框架也越来越难以在延迟性、吞吐量、容错能力以及使用便捷性等方面满足业务日益苛刻的要求。在这种形势下，新型流式处理框架Flink通过创造性地把现代大规模并行处理技术应用到流式处理中来，极大地改善了以前的流式处理框架所存在的问题。飞马网于3月13日晚，邀请
分类：
其他好文 时间：
2018-03-16 17:18:16
阅读次数：
129
一、 基本的离线数据处理架构： 处理框图： 1 2 3 4 5 6 7为离线处理，其中5不一定是Hive（还有Spark SQL等） 6不一定是RDBMS（NoSQL） 执行时，可用调度框架Oozie、Azkaban，指定任务执行的时间 另外一条线是实时处理 拟定项目需求： 互联网日志一般包括有： ...
分类：
数据库 时间：
2018-03-11 14:30:36
阅读次数：
415
部分 V图像特征提取与描述 34 角点检测的 FAST 算法 目标 ? 理解 FAST 算法的基础 ? 使用 OpenCV 中的 FAST 算法相关函数进行角点检测原理 我们前面学习了几个特征检测器，它们大多数效果都很好。但是从实时处理的角度来看，这些算法都不够快。一个最好例子就是 SLAM（同步定 ...
分类：
编程语言 时间：
2018-02-14 00:42:13
阅读次数：
1140
Why use Storm? Apache Storm是一个免费的开源的分布式实时计算系统。Storm使得可靠的实时处理无边界的数据量变得很容易，就如同Hadoop做批处理那样。Storm很简单，可以用任意的编程语言。 Storm有许多使用案例：实时分析、在线机器学习、持续的计算、分布式RPC、ET ...
分类：
其他好文 时间：
2018-01-30 19:39:00
阅读次数：
142
ELK技术实战–了解Elk各组件 转载 http://www.ywnds.com/?p=9776 ELK技术实战-部署Elk 2.x平台 ELK Stack是软件集合Elasticsearch、Logstash、Kibana的简称，由这三个软件及其相关的组件可以打造大规模日志实时处理系统。 其中，E ...
分类：
其他好文 时间：
2018-01-27 11:30:59
阅读次数：
273
