1. 背景介绍 1.1 离线计算是什么 离线计算：批量获取数据、批量传输数据、周期性批量计算数据、数据展示； 代表技术：Sqoop批量导入数据、HDFS批量存储数据、MapReduce批量计算数据、Hive批量计算数据 1.2 流式计算是什么 流式计算：数据实时产生、数据实时传输、数据实时计算、实时 ...
分类：
其他好文 时间：
2018-05-06 18:55:57
阅读次数：
203
使用了微信提供的开发工具是真心难用，卡顿厉害、中英文切写注释换相当不爽、还没办法多开窗口，相信大家也遇到过这种现象。 下边我们介绍下webstorm来开发微信小程序的一些配置： File settings点击出来以下页面 1.首先FileType下Cascading Style Sheet 添加*. ...
分类：
微信 时间：
2018-05-03 12:45:30
阅读次数：
313
In the visualization, spout components are represented as blue, while bolts are colored between green and red depending on their associated capacity m... ...
分类：
其他好文 时间：
2018-05-02 20:54:26
阅读次数：
1265
SparkStreaming与Storm都可以用于进行实时流计算。但是他们两者的区别是非常大的。其中区别之一就是，SpankStreaming和Stom的计算模型完全不一样，SparkStreaming是基于RDD的，因此需要将一小段时间内的，比如1秒内的数据，收集起来，作为一个RDD.然后再针对这个batch的数据进行处理。而Storm却可以做到每来一条数据，都可以立即进行处理和计算。因此，Sp
分类：
其他好文 时间：
2018-04-28 15:50:42
阅读次数：
289
State 是用来 管理 从数据存储中 查询数据(使用batch中的tuple作为输入来查询) 插入和更新数据(把batch中的tuple更新或者插入到数据存储) 里面涉及到事务管理 对于，数据存储是kv结构的， 会有专门的MapStates接口 我们要自己定义支持kv的state，只需要实现 IB ...
分类：
其他好文 时间：
2018-04-26 12:01:25
阅读次数：
190
概念 实时流式计算： 大数据环境下，流式数据将作为一种新型的数据类型，这种数据具有连续性、无限性和瞬时性。是实时数据处理所面向的数据类型，对这种流式数据的实时计算就是实时流式计算。 特征 实时流式计算与传统的数据处理技术不同，其具有一下特点： 低延迟：从处理的数据角度来看，每一条数据都可以在有限的时 ...
分类：
其他好文 时间：
2018-04-23 22:38:43
阅读次数：
168
1、Spark Streaming是什么？ 2、Spark与Storm的对比 a、Spark开发语言：Scala、Storm的开发语言：Clojure。 b、Spark编程模型：DStream、Storm编程模型：Spout/Bolt。 c、Spark和Storm的对比介绍： Spark: Stor ...
分类：
数据库 时间：
2018-04-23 18:50:23
阅读次数：
252
最近升级了系统，发现PHPStorm 运行一会儿就卡顿起来了，按网上的方法加大内存配置也是没效果； 运行一会儿照样卡顿，接着一会儿就要内存溢出了挂掉了； 想着最近只有升级过操作系统，并没有升级JDK等版本依赖，很是恼火，效率低下 刚好看见官网今年出了新版本，于是马上卸载，甚至连原来藏在各个文件夹中的 ...
分类：
Web程序 时间：
2018-04-21 14:30:42
阅读次数：
264
大数据实时计算完整项目案例，Flume+Kafka+Storm+Redis构建大数据实时处理系统：实时统计网站各省份PV、UV+动态展示。
分类：
Web程序 时间：
2018-04-16 21:56:43
阅读次数：
539
转自：http://www.cnblogs.com/tgzhu/p/5818374.html Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的开源项目之一，与Hadoop和Storm ...
分类：
其他好文 时间：
2018-04-16 16:10:21
阅读次数：
239
