在每个节点上的conf/spark-env.sh中配置 ? #?for?ha
export?SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER?-Dspark.deploy.zookeeper.url=master:2181,slave1:2181,slave2:2181?-Dspark...
分类:
其他好文 时间:
2015-09-29 13:21:28
阅读次数:
154
使用EJB时需要配置数据源,光在代码里面添加配置是不够的,还需要在jboss中配置
首先在jboss-as-web-7.0.2.Final\standalone\configuration目录下standalone.xml中标签中添加你的数据源配置:
这里drivername是mysql<datasource jndi-name="java:jboss/datasour...
分类:
其他好文 时间:
2015-09-28 11:49:57
阅读次数:
184
简单的spark on yarn不需要什么额外的配置,只要?HADOOP_CONF_DIR和YARN_CONF_DIR配置在环境变量里,(然后spark standalone能跑起来,说明spark部署成功)。 启动spark的history server(spark on yarn日志监控...
分类:
其他好文 时间:
2015-09-21 19:49:55
阅读次数:
261
一、命令? 1.向spark standalone以client方式提交job。 ./spark-submit?--master?spark://hadoop3:7077?--deploy-mode?client?--class?org.apache.spark.examples.SparkPi?../lib/spark-examples-1.3.0-h...
分类:
其他好文 时间:
2015-09-21 17:59:05
阅读次数:
210
QQ:16264558 TEL:13963782271
分类:
Windows程序 时间:
2015-09-21 10:48:24
阅读次数:
1958
参照官网文档:High Availability 一共有2中模式,基于文件系统、基于zookeeper。 1.基于文件系统,即将master的信息同步到某个文件目录中,当一个master挂掉之后,会启动宁外一个master读取目录的信息,正在执行...
分类:
其他好文 时间:
2015-09-18 18:59:16
阅读次数:
154
一、开发环境 1、JDK 2、Eclipse 3、Firefox 28.0 4、selenium-java-2.44.0.jar 和 selenium-java-2.44.0-srcs.jar 5、selenium-server-standalone-2.44.0.jar二、新建项目 1...
分类:
编程语言 时间:
2015-09-15 14:36:10
阅读次数:
263
本文将接受 Spark 集群的部署方式,包括无 HA、Spark Standalone HA 和 基于 ZooKeeper 的 HA 三种。 环境:CentOS6.6 、 JDK1.7.0_80 、 关闭防火墙 、 配置好 hosts 和 SSH 免密码、Spark1.5.0 一. 无 HA 方式 ...
分类:
其他好文 时间:
2015-09-15 00:18:31
阅读次数:
238
1. ?前置条件 None root account Apache Maven Java 1.7 2. 源码 ???https://github.com/apache/incubator-zeppelin ???git clone?https://github.com/apache/incubator-zeppelin 3. 编译 本地模式:mvn...
分类:
其他好文 时间:
2015-09-09 15:02:08
阅读次数:
372
apple-mobile-web-app-capable设置Web应用是否以全屏模式运行。语法:说明:如果content设置为yes,Web应用会以全屏模式运行,反之,则不会。content的默认值是no,表示正常显示。你可以通过只读属性window.navigator.standalone来确定网...
分类:
Web程序 时间:
2015-09-09 12:47:53
阅读次数:
244