如何搭建配置centos虚拟机请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭建（一）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。》 如何安装hadoop2.9.0请参考《Kafka：ZK+Kafka+Spark Streaming集群环 ...
分类：
其他好文 时间：
2018-06-30 21:23:42
阅读次数：
207
DataManager启动失败 启动过程中发现一个问题：slave1,slave2,slave3都是只启动了DataNode，而DataManager并没有启动： 这里一个错误原因可以从： slaves各自的nodemanager日志查看。 查看slave1虚拟机的/opt/hadoop-2.9.0 ...
分类：
其他好文 时间：
2018-06-30 17:01:41
阅读次数：
208
基础概念 Spark Streaming 是 Spark Core API 的扩展, 它支持弹性的, 高吞吐的, 容错的实时数据流的处理. 数据可以通过多种数据源获取, 例如 Kafka, Flume, Kinesis 以及 TCP sockets, 也可以通过例如 map, reduce, joi ...
分类：
其他好文 时间：
2018-06-30 14:50:42
阅读次数：
206
如何配置centos虚拟机请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭建（一）VMW安装四台CentOS，并实现本机与它们能交互，虚拟机内部实现可以上网。》 如何安装hadoop2.9.0请参考《Kafka：ZK+Kafka+Spark Streaming集群环境搭 ...
分类：
其他好文 时间：
2018-06-30 11:05:15
阅读次数：
273
Apache Spark 一个很快多用途的集群计算系统。提供了很多语言API ：Java, Scala, Python and R，还支持很多高级的工具，包括Spark SQL用于SQL和结构化数据的处理，MLlib机器学习，GraphX 用于图形处理和Spark Streaming. 总的说：Sp ...
分类：
其他好文 时间：
2018-06-27 18:52:36
阅读次数：
229
本篇分两部分，第一部分分析使用 java 提交 mapreduce 任务时对 mapper 数量的控制，第二部分分析使用 streaming 形式提交 mapreduce 任务时对 mapper 数量的控制。 环境：hadoop-3.0.2 前言： 熟悉 hadoop mapreduce 的人可能已 ...
分类：
移动开发 时间：
2018-06-26 19:36:47
阅读次数：
343
1.1 问题描述 Spark Streaming程序解析protobuf序列化的数据时， jars 来添加依赖的protobuf java 3.0.0.jar包，使用local模式程序正常，使用yarn模式时会报找不到方法的错误，如下所示： 1.2 解决方法 分析local模式能运行，yarn模式不 ...
分类：
编程语言 时间：
2018-06-16 13:23:08
阅读次数：
2917
随着公司业务发展，对大数据的获取和实时处理的要求就会越来越高，日志处理、用户行为分析、场景业务分析等等，传统的写日志方式根本满足不了业务的实时处理需求，所以本人准备开始着手改造原系统中的数据处理方式，重新搭建一个实时流处理平台，主要是基于hadoop生态，利用Kafka作为中转，SparkStrea ...
分类：
其他好文 时间：
2018-06-08 23:16:51
阅读次数：
256
一，题记 要说当下IT行业什么最火？ABC无出其右。所谓ABC者，AI + Big Data + Cloud也，即人工智能、大数据和云计算(云平台)。每个领域目前都有行业领袖在引领前行，今天我们来讨论下大数据Big Data这个方向。 二，大数据里面的角色 角色一：大数据工程 大数据工程需要解决数据 ...
分类：
其他好文 时间：
2018-06-08 22:39:33
阅读次数：
214
今天新开发的Structured streaming部署到集群时，总是报这个错： 百度了一下说是版本不一致导致的。于是重新检查各个jar包，发现spark sql kafka的版本是2.2，而spark的版本是2.3，修改spark sql kafka的版本后，顺利执行。 ...
分类：
编程语言 时间：
2018-06-06 21:43:09
阅读次数：
760
