1、下载 http://archive.apache.org/dist/spark/spark 2.4.1/spark 2.4.1 bin hadoop2.7.tgz 2、解压 3、配置环境变量SPARK_HOME vim /etc/profile 或者 vim ~/.bashrc source / ...
分类：
系统相关 时间：
2019-12-10 00:55:19
阅读次数：
79
本地模式Spark单机运行，一般用于开发测试。Standalone模式构建一个由Master+Slave构成的Spark集群，Spark运行在集群中。Spark on Yarn模式Spark客户端直接连接Yarn。不需要额外构建Spark集群。Spark on Mesos模式Spark客户端直接连接 ...
分类：
其他好文 时间：
2019-12-09 21:11:23
阅读次数：
237
前言Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Linkedi
分类：
其他好文 时间：
2019-12-09 18:50:02
阅读次数：
101
大数据由一系列技术组成，那他们之间的关系是怎么组成的ne，请看下图： hadoop主要做了文件存储系统和提供了一个相对比较弱的mr处理数据的方案 hive是在mr和文件存储系统上面做的升级。 sprak+hbase+hadoop主要解决的是hadoop实时处理数据比较弱的问题 ...
分类：
Web程序 时间：
2019-12-08 10:27:19
阅读次数：
116
1.自定义 schema（Rdd[Row] => DataSet[Row]) 2.借助 case class 隐式转换（Rdd[Person] => DataSet[Row]) 3.直接从数据源创建 此外 233 ...
分类：
其他好文 时间：
2019-12-07 16:18:20
阅读次数：
620
其实Rocketmq的给第三方的插件已经全了，如果大家有兴趣的话请移步https://github.com/apache/rocketmq-externals。本文主要是结合笔者已有的rmq在spark中的应用经验对rocketmq做简单介绍以及经验总结，当然免不了会将rocketmq和如今特别火爆 ...
分类：
其他好文 时间：
2019-12-06 18:59:15
阅读次数：
409
好用的python模块 可自动导入模块的pyforest 安装模块后，可以直接按配置文件中设置的需要调用的模块名称使用模块 设置 编辑 默认配置在 中 使用 jupyter 可以自动导入，其他环境需要手动导入 查看已自动导入的模块 ...
分类：
编程语言 时间：
2019-12-06 17:39:16
阅读次数：
121
spark submit 参数及其调优https://blog.csdn.net/guohecang/article/details/52088117 Spark配置参数详解 一.yarn模式下一个示例:./bin/spark-submit \ --master yarn-cluster \ --n ...
分类：
其他好文 时间：
2019-12-06 16:25:50
阅读次数：
103
spark 各个版本的application 调度算法还是有这明显的不同之处的。从spark1.3.0 到 spark 1.6.1、spark2.x 到 现在最新的spark 3.x ，调度算法有了一定的修改。下面大家一起学习一下，最新的spark 版本spark-3.0的Application 调 ...
分类：
移动开发 时间：
2019-12-04 13:22:15
阅读次数：
118
Spark官网和下载地址 官网 http://spark.apache.org/ spark-2.2.0源码下载链接 http://archive.apache.org/dist/spark/spark-2.2.0/spark-2.2.0.tgz spark-2.2.0安装包下载连接 http://... ...
分类：
其他好文 时间：
2019-12-03 18:09:14
阅读次数：
98
