使用idea以client方式提交代码到standalone集群非常简单。 1、首先有一个部署好且已经启动的standalone集群 2、将应用打包 （这里两种选择，一种是包里只含应用不含依赖，另一种是包里是有依赖的。） 没图说个JB: 可以看到第一个是不带依赖的包，这个包就比较小，第二个就是带依赖 ...
分类：
其他好文 时间：
2018-02-10 16:58:23
阅读次数：
178
一、前述 Spark可以和Yarn整合，将Application提交到Yarn上运行，和StandAlone提交模式一样，Yarn也有两种提交任务的方式。 二、具体 1、yarn-client提交任务方式 提交命令 ...
分类：
其他好文 时间：
2018-02-04 22:41:10
阅读次数：
178
一、前述 Spark中Standalone有两种提交模式，一个是Standalone-client模式，一个是Standalone-master模式。 二、具体 1、Standalone-client提交任务方式 提交命令 ./spark-submit --master spark://node01 ...
分类：
其他好文 时间：
2018-02-04 21:01:39
阅读次数：
193
Therefore, please perform the next steps after the hostname was updated/changed/modified in the Oracle Restart configuration: 1) Configure the CSS & O ...
分类：
数据库 时间：
2018-01-27 17:17:57
阅读次数：
200
背景： 今天在项目根目录执行maven sonar:sonar ，报错信息如下，然后就各种的搜，折腾了多半天天也没找出解决办法，最后打算放弃时，看到一遍文章说是mysql <!--?xml version="1.0" encoding="UTF-8" standalone="no"?--> max_ ...
分类：
其他好文 时间：
2018-01-24 18:01:08
阅读次数：
2206
RabbitMQ 消息队列 消息的传递 安装 http://www.rabbitmq.com/install-standalone-mac.html 如果是在windows上安装还要安装erlang语言 安装python RabbitMQ 实现最简单的队列通信 http://www.rabbitmq ...
分类：
编程语言 时间：
2018-01-19 15:49:29
阅读次数：
180
1.selenium-server-standalone-2.39.0.jar上传到远程主机 命令：java -jar selenium-server-standalone-2.39.0.jar 2.安装phtomjs ...
分类：
系统相关 时间：
2018-01-04 23:05:37
阅读次数：
216
TaskScheduler 原理： 1. DAGScheduler 在提交Taskset给底层调度器的时候是面向接口TaskScheduler的， 这符合面向对象中依赖抽象原则，带来底层资源调度器的可插拔性， 导致Spark可以运行在众多的资源高度器模式上。例如： Standalone, Yarn, ...
分类：
其他好文 时间：
2017-12-24 20:10:34
阅读次数：
147
原理剖析 Master实际上可以配置两个(防止单点故障)，那么Spark原生的standalone模式是支持Master主备切换的。也就是说，当Active Master节点挂掉时，可以将StandBy master节点切换为Active Master。 Spark Master主备切换可以基于两种 ...
分类：
其他好文 时间：
2017-12-18 18:52:32
阅读次数：
197
1 下载 地址 http://www.rabbitmq.com/install-standalone-mac.html 2 rabbitmq的安装目录： /Users/ysyc1/rabbitmq_server-3.7.0 3 RabbitMQ 的启动 $: sbin/rabbitmq-server ...
分类：
系统相关 时间：
2017-12-18 18:52:04
阅读次数：
220
