spark入门

标签：

spark编译：
1、java安装（建议用jdk1.6）
2、编译命令
./make-distribution.sh --tgz -Phadoop-2.4 -Dhadoop.version=2.6.0 -Pyarn -DskipTests -Phive -Phive-thriftserver
spark启动：

├── bin
│   ├── beeline
│   ├── beeline.cmd
│   ├── compute-classpath.cmd
│   ├── compute-classpath.sh
│   ├── load-spark-env.sh
│   ├── pyspark
│   ├── pyspark2.cmd
│   ├── pyspark.cmd
│   ├── run-example
│   ├── run-example2.cmd
│   ├── run-example.cmd
│   ├── spark-class
│   ├── spark-class2.cmd
│   ├── spark-class.cmd
│   ├── spark-shell 交互式执行spark的命令
│   ├── spark-shell2.cmd
│   ├── spark-shell.cmd
│   ├── spark-sql
│   ├── spark-submit 此命令可以执行app，默认读取conf/spark-default.conf的配置
│   ├── spark-submit2.cmd
│   ├── spark-submit.cmd
│   ├── utils.sh
│   └── windows-utils.cmd
├── CHANGES.txt
├── conf
│   ├── fairscheduler.xml.template
│   ├── hadoop 保存hadoop的配置文件，名称自定义，在spark-env.sh里面设定hadoop的配置文件路径
│   ├── hive-site.xml spark和hive集成的时候，需要提供hive的配置文件，主要是hive的源数据库配置
│   ├── log4j.properties 日志的配置信息
│   ├── log4j.properties.template
│   ├── metrics.properties.template
│   ├── slaves slave的节点，每台服务器一行（ip地址）
│   ├── slaves.template
│   ├── spark-defaults.conf 此文件为spark-submit命令时默认读取的配置信息，用来配置当前app的各种参数
│   ├── spark-defaults.conf.template
│   ├── spark-env.sh spark启动的环境变量
│   ├── spark-env.sh.template
│   ├── spark-kafka.conf 个人自定义的配置文件，spark-submit 执行时用 --properties-file 参数制定，代替 spark-defaults.conf
│   └── spark-sql.conf 同spark-kafka.conf
├── data
│   └── mllib
├── ec2
│   ├── deploy.generic
│   ├── README
│   ├── spark-ec2
│   └── spark_ec2.py
├── examples
│   └── src
├── lib
│   ├── datanucleus-api-jdo-3.2.6.jar
│   ├── datanucleus-core-3.2.10.jar
│   ├── datanucleus-rdbms-3.2.9.jar
│   ├── spark-1.3.1-yarn-shuffle.jar
│   ├── spark-assembly-1.3.1-hadoop2.6.0.jar
│   ├── spark-examples-1.3.1-hadoop2.6.0.jar
│   └── tachyon-0.5.0-jar-with-dependencies.jar
└── sbin
├── slaves.sh
├── spark-config.sh
├── spark-daemon.sh
├── spark-daemons.sh
├── start-all.sh 启动当前master和所有的slaves
├── start-history-server.sh
├── start-master.sh 启动当前master
├── start-slave.sh 启动当前slaves
├── start-slaves.sh 启动所有的slave
├── start-thriftserver.sh
├── stop-all.sh 关闭当前master和所有slaves
├── stop-history-server.sh
├── stop-master.sh 关闭当前master
├── stop-slaves.sh 关闭所有slave
└── stop-thriftserver.sh

spark入门

标签：

原文地址：http://www.cnblogs.com/luckuan/p/4454089.html