1.1 基本概念 Storm是一个流式计算框架，Storm采用Java和Clojure编写，其优点是全内存计算，所以它的定位是分布式实时计算。 Spark是一个基于内存计算的开源集群计算系统，目的是更快速的进行数据分析。Spark类似于Hadoop MapReduce的通用并行计算框架，Spark基 ...
分类：
其他好文 时间：
2019-06-15 00:24:40
阅读次数：
176
一、静态数据、流数据 以及 批量计算、实时计算 大数据分类两类：静态数据和动态数据（流数据）。针对这两类数据的计算模式分别是批量计算和实时计算。 静态数据：历史数据持久化存储在系统里，这类数据的特点是数据量大、数量有限（数据的时间区间是确定的）。例如企业为了支持决策分析而构建的数据仓库系统。 对这类 ...
分类：
其他好文 时间：
2019-06-14 23:54:29
阅读次数：
224
前面介绍了流计算，在流计算领域，一个热门的计算框架就是-Storm。还是先介绍概念。。。 一、Storm是什么 在流处理过程中，我们除了考虑最重要的数据处理的逻辑，还需要维护消息队列和消费者，考虑消息怎么流、怎么序列化等。而Storm就是这样一个流式计算框架，它为你完成了消息传递等这些通用模块，让你 ...
分类：
其他好文 时间：
2019-06-14 23:33:51
阅读次数：
131
Apache Spark是一个围绕速度、易用性和复杂分析构建的大数据处理框架。 与 Hadoop 和 Storm 等其他大数据和 MapReduce 技术相比，Spark 有如下优势。 首先，Spark 为我们提供了一个全面、统一的框架用于管理各种有着不同性质（文本数据、图表数据等）的数据集和数据源 ...
分类：
其他好文 时间：
2019-06-12 11:09:43
阅读次数：
118
单机本地运行storm报错： 错误如下： 解决方法： 1、确认是否初始化collector 2、确认是否是运行本地而不是集群的启动方式 open方法 * 1、在任务集群的工作进程内被初始化,提供spout执行所需要的环境 * 2、conf参数是这个spout的strom配置,提供给拓扑与这台主机上的 ...
分类：
其他好文 时间：
2019-06-11 22:23:36
阅读次数：
216
Fields，个人理解，类似于一张表，你取那些字段以及这些字段所对应的数据给后面的bolt用 这个Field通常和fieldsGrouping分组机制一起使用，这个Field特别难理解，我自己也是在网上看了好多文章，感觉依旧讲的不是很清楚，是似而非，没有抓到重点。这个问题足足困扰了我3-4天时间，一 ...
分类：
其他好文 时间：
2019-06-11 20:51:34
阅读次数：
175
Kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/ ...
分类：
其他好文 时间：
2019-06-10 11:55:48
阅读次数：
84
案例一：统计网站访问量（实时统计） 实时流式计算框架：storm 1)spout 数据源，接入数据源 本地文件如下 编写spout程序： 2)splitbolt 业务逻辑处理 切分数据 拿到网址 3)bolt 累加次数求和 4)Driver 使用字段分组 运行结果如下： 总共190条数据。统计完成之 ...
分类：
Web程序 时间：
2019-06-07 12:34:28
阅读次数：
117
一：Storm概述 网址：http://storm.apache.org/ ApacheStorm是一个免费的开源分布式实时计算系统。Storm可以轻松可靠地处理无限数据流，实现Hadoop对批处理所做的实时处理。Storm非常简单，可以与任何编程语言一起使用，并且使用起来很有趣！ Storm有许多 ...
分类：
其他好文 时间：
2019-06-05 19:40:42
阅读次数：
124
1. 报错Missing space before function parentheses的问题 解决：在代码目录中，打开.eslint文件，并在rules中添加如下一行代码即可： "space-before-function-paren": 0 2. 报错eslint: missing semi ...
分类：
Web程序 时间：
2019-05-30 10:24:16
阅读次数：
322
