./bin/spark-shell --master spark://MASTER:PORT启动集群模式：MASTER=spark://`hostname`:7077 bin/spark-shellbin/spark-shell --master spark://es122:7077单机模式：bin...
分类：
其他好文 时间：
2014-09-12 11:52:33
阅读次数：
183
单机运行Standalone使用Spark本身提供的资源管理器，可以直接运行Yarn提供运行spark应用的jar包Mesos另一种资源管理系统Amazon EC2 / ElasticMapReduce安装工具：Chef
分类：
其他好文 时间：
2014-09-12 11:41:33
阅读次数：
156
Spark 0.6.0开始支持此功能准备：运行Spark-on-YARN需要Spark的二进制发布包。参考编译配置：环境变量：SPARK_YARN_USER_ENV 用户可以在这个参数中设置Spark on YARN的环境变量，可以省略。 例如：SPARK_YARN_USER_ENV="JAVA_H...
分类：
其他好文 时间：
2014-09-12 11:38:33
阅读次数：
222
1、垃圾回收在conf/spark-env.sh中添加SPARK_JAVA_OPTS=-verberos:gc -XX;+PrintGCDetails -XX:+PrintGCTimeStamps如果发现集群耗费过多时间在垃圾回收上，可以通过spark.storage.memoryFaction调低...
分类：
其他好文 时间：
2014-09-12 11:35:43
阅读次数：
234
安装配置hosts配置： 用户： useradd spark1、SSH无密码登录2、JDK3、安装Scala 2.10.44、安装配置Spark4.1、解压与权限 chown -R spark:spark /opt/spark4.2、配置workervi conf/slavesES122ES123E...
分类：
其他好文 时间：
2014-09-12 11:35:33
阅读次数：
197
1、SBT编译vi project/SparkBuild.scala修改仓库："Maven Repository" at "http://172.16.219.120:8080/nexus/content/groups/public/"SPARK_HADOOP_VERSION=2.4.0.2.1.....
分类：
其他好文 时间：
2014-09-12 11:29:43
阅读次数：
234
bin/spark-submit --helpUsage: spark-submit [options] [app options]Options:--master MASTER_URL spark://host:port, mesos://host:port, yarn, or local. -....
分类：
其他好文 时间：
2014-09-12 11:29:13
阅读次数：
175
刚接触Lucene，虽然跑通了一个demo，但对很多东西还不了解。下面简单记录下对Analyzer的理解，以后再系统整理。后面来自Lucene官方文档，Lucene版本为4.10.0.欢迎感兴趣的同学一起学习交流，求大牛指导，我现在还有很多不明白的地方。
包org.apache.lucene.analysis
将文本转换为可索引和检索的标记标记（token）。
Lucene，建索引和检...
分类：
其他好文 时间：
2014-09-12 10:15:13
阅读次数：
241
Docker是一个用了一种新颖方式实现的超轻量虚拟机，在实现的原理和应用上还是和VM有巨大差别，专业的叫法是应用容器（ApplicationContainer）。（我个人还是喜欢称虚拟机）Docker应用容器相对于VM有以下几个优点：启动速度快，容器通常在一秒内可以启动，而VM通常要更久资源利..
分类：
其他好文 时间：
2014-09-12 02:33:03
阅读次数：
212
在公司我们这类杂工最多面对的也就是文件共享服务器.....这个是公司的重中之重，希望公司的领导与我们这类的杂工能够关注：免得一失足成千古恨！！！！共享文件的作用：主要是在方便大家共同拥有.共享服务器里的文件只能是暂时存放，而不是让它成为永久的仓库...可能是人的懒性..
分类：
其他好文 时间：
2014-09-11 17:32:33
阅读次数：
263
