1.启动zookeeper 2.启动kafka服务（broker） 3.启动kafka的producer（前提：已经创建好topic 4.启动kafka的consumer 5.打jar包，将带有依赖的jar包上传到集群上 6.编写启动脚本，启动任务 sh run_receiver.sh 监控任务及查 ...
分类：
其他好文 时间：
2018-12-01 11:08:19
阅读次数：
218
什么是Spark 1. 大数据计算框架 2. 离线批处理 3. 大数据体系架构图（Spark） 4. Spark包含了大数据领域常见的各种计算框架：比如Spark Core用于离线计算，Spark SQL用于交互式查询，Spark Streaming用于实时流式计算，Spark MLib用于机器学习 ...
分类：
其他好文 时间：
2018-12-01 00:16:11
阅读次数：
204
测试代码：import org.json4s._import org.json4s.JsonDSL._import org.json4s.jackson.JsonMethods._case class Winner(id: Long, numbers: List[Int])object Test e ...
分类：
编程语言 时间：
2018-11-27 13:05:10
阅读次数：
1091
一.基础知识1.SparkSpark是一个用来实现快速而通用的集群计算的平台。在速度方面，Spark扩展了广泛使用的MapReduce计算模型，而且高效地支持更多计算模式，包括交互式查询和流处理。Spark项目包含多个紧密集成的组件。Spark的核心是一个对由很多计算任务组成的、运行在多个工作机器或者是一个计算集群上的应用进行调度、分发以及监控的计算引擎。Spark的各个组件2.HadoopHad
分类：
其他好文 时间：
2018-11-25 16:22:04
阅读次数：
147
大纲： Spark Streaming简介 Spark Streaming的原理和架构 Spark Streaming之基础抽象DStream DStream相关操作 Spark Streaming与flume整合 Spark Streaming与kafka整合 Spark Streaming简介 ...
分类：
其他好文 时间：
2018-11-25 01:21:06
阅读次数：
230
Spark Streaming编程指南 概观 一个快速的例子 基本概念 链接 初始化StreamingContext 离散流（DStreams） 输入DStreams和Receivers DStreams的转换 DStreams的输出操作 DataFrame和SQL操作 MLlib运营 缓存/持久性 ...
第4章 开发MapReduce程序 4.1 使用非Java语言操作Hadoop 4.1.1 Hadoop Streaming工作原理 4.1.2 使用Hadoop Streaming的原因 4.2 实践环节：使用Streaming实现Word-Count 4.3 分析大数据集 4.3.1 获取UFO... ...
分类：
其他好文 时间：
2018-11-23 16:48:06
阅读次数：
170
一、Spark Streaming连Kafka（重点） 方式一：Receiver方式连：走磁盘 使用High Level API（高阶API）实现Offset自动管理，灵活性差，处理数据时，如果某一时刻数据量过大就会磁盘溢写，通过WALS（Write Ahead Logs）进行磁盘写入,0.10版本 ...
分类：
其他好文 时间：
2018-11-23 11:28:43
阅读次数：
262
? spark sql 可以说是 spark 中的精华部分了，我感觉整体复杂度是 spark streaming 的 5 倍以上，现在 spark 官方主推 structed streaming， spark streaming 维护的也不积极了， 我们基于 spark 来构建大数据计算任务，重心也 ...
分类：
其他好文 时间：
2018-11-22 13:12:50
阅读次数：
166
作者：周思华 欢迎访问网易云社区，了解更多网易技术产品运营经验。 本文尝试描述Beam模型和Stream & Table理论间的关系（前者描述于数据流模型论文、the-world-beyond-batch-streaming101和the-world-beyond-batch-streaming-1 ...
分类：
其他好文 时间：
2018-11-21 12:27:10
阅读次数：
139
