近期开始接触真正的实时同步，之前接触的SparkStreaming偏重于实时计算，kafka和flume只能算简单的数据同步，如今正式开始做产品化的数据同步项目。特此记录一些知识点。 ...
分类：
其他好文 时间：
2019-03-26 19:35:01
阅读次数：
177
1、定义 Spark是由Scala编写的一个实时计算系统。 Spark的API包括Java、Python、R、Scala. 2、功能 Spark Core： ①将分布式数据抽象为弹性分布式数据集（RDD），实现了应用任务调度、RPC、序列化和压缩，并为运行在其上的上层组件提供API。 ②是Spark ...
分类：
其他好文 时间：
2019-03-23 10:40:16
阅读次数：
189
1. 写在前面 Flink被誉为第四代大数据计算引擎组件，即可以用作基于离线分布式计算，也可以应用于实时计算。Flink的核心是转化为流进行计算。Flink三个核心：Source,Transformation,Sink。其中Source即为Flink计算的数据源，Transformation即为进行 ...
分类：
数据库 时间：
2019-03-20 21:02:59
阅读次数：
434
摘抄自：https://www.cnblogs.com/qingyunzong/p/8946637.html 前言 在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型 ...
分类：
其他好文 时间：
2019-03-03 16:23:20
阅读次数：
168
strom简介官方网址：http://storm.apache.org/是一个免费，开源的分布式实时计算系统，使用它可以轻松实现数据流的实时处理，Strom很简单，可以用任何编程语言storm用例：实时在线分析机器学习，连续计算，分布式RPC，ETL等。Strom的特点：快速：基准时钟在超过一百万元组（可以理解为数据包）每秒处理的每个节点简单的设置：有可扩展性，容错性，保证了数据的处理能力，并且易
分类：
其他好文 时间：
2019-02-21 20:06:50
阅读次数：
201
一个StreamingContext定义之后，必须做以下几件事情：1、通过创建输入DStream来创建输入数据源。2、通过对DStream定义transformation和output算子操作，来定义实时计算逻辑。3、调用StreamingContext的start()方法，来开始实时处理数据。4、 ...
分类：
其他好文 时间：
2019-01-19 21:16:25
阅读次数：
168
数据采集：采用Flume收集日志，采用Sqoop将RDBMS以及NoSQL中的数据同步到HDFS上 消息系统：可以加入Kafka防止数据丢失 实时计算：实时计算使用Spark Streaming消费Kafka中收集的日志数据，实时计算结果大多保存在Redis中 机器学习：使用了Spark MLlib ...
分类：
其他好文 时间：
2019-01-04 14:49:53
阅读次数：
154
近日，宁波银行签约数澜科技，双方将共同打造「实时数据平台」，通过引入实时计算来加工、处理和分析数据，从而高效的挖掘到数据价值。宁波银行成立于1997年，2007年成为国内首家在深圳证券交易所挂牌上市的城市商业银行（股票代码：002142）。目前拥有12家分行，327家营业网点，已经发展成为一家资本净额超930亿元，总资产超10000亿元，员工人数超1.5万人的区域性股份制上市银行，跻身全球前200
分类：
其他好文 时间：
2018-12-29 18:37:13
阅读次数：
182
刚刚说的：收集数据 - 放到DB中 - 取出来分析 的传统的流程，叫做批量计算，顾名思义，将数据存起来，批量进行计算。 而流式计算，也跟名字一样，是对数据流进行实时计算，它不是更快的批计算，可以说，是完全不同的处理思路。 通过与批量计算进行对比的方式，介绍下其原理： (1) 与批量计算那样慢慢积累数 ...
分类：
其他好文 时间：
2018-12-26 16:48:15
阅读次数：
469
不修内功，难成大器。为了将Apache Flink在阿里巴巴真正运行起来，阿里巴巴实时计算团队做了大量的优化，在阿里云上的产品正式命名为实时计算，以Flink SQL为主要API，致力于打造一款全球领先的实时计算引擎。
分类：
其他好文 时间：
2018-11-27 17:55:57
阅读次数：
198
