1、保证spark-sql已经使用mysql作为metadata存储介质2、启动thrift网关$SPARK_HOME/sbin/start-thriftserver.sh--driver-class-path
/usr/local/spark/spark-1.3.0-bin-hadoop2.3/lib/mysql-connector-java-5.1.6-bin.jar
--masterspark://hd1:7077--executor-memory2g--total-..
分类：
其他好文 时间：
2015-06-23 23:23:32
阅读次数：
888
1、安装JDK下载JDK7u55版本，安装JDK和JRE都需要，JDK里面有tools.jar，这个jar包是一定需要的安装在/java上2、下载Hadoop2.2.0源代码wgethttp://apache.dataguru.cn/hadoop/common/stable/hadoop-2.2.0-src.tar.gz解压缩tar
zxvfhadoop-2.2.0-src.tar.gz-C/tmp3、安装依赖包yu..
分类：
其他好文 时间：
2015-06-23 18:22:47
阅读次数：
138
1、下载hbase-0.98.2-hadoop2-bin.tar.gz2、解压缩3、挪动hbase到相应的位置去/home/hadoop/hbase4、配置hbase/home/hadoop/hbase/conf/hbase-site.xml<property><name>hbase.rootdir</name><value>hdfs://hd1:9000/hbase</value></property&..
分类：
其他好文 时间：
2015-06-23 18:20:00
阅读次数：
162
1、下载sparkhttp://mirrors.cnnic.cn/apache/spark/spark-1.3.0/spark-1.3.0-bin-hadoop2.3.tgz2、下载scalahttp://www.scala-lang.org/download/2.10.5.html3、安装scalamkdir/usr/lib/scalatar–zxvfscala-2.10.5.tgzmvscala-2.10.5/usr/lib/scala4、设置scala路径vim/etc/..
分类：
其他好文 时间：
2015-06-23 18:11:26
阅读次数：
117
第一步：安装jdk 我的linux版本是centos7，使用最简单的安装方式，这里首先说一下，由于系统会预装openjdk版本等其他各种版本，首先要做的是清除这些版本，然后iu安装oracle的jdk版本 1.1 查看所有jdk版本并删除其...
分类：
其他好文 时间：
2015-06-23 13:53:00
阅读次数：
141
环境：spark1.4.0,hadoop2.6.01.安装好jdk2.在spark的conf目录下找到spark-env.sh.template，打开，在后面加上export SCALA_HOME=/home/jiahong/scala-2.11.6export JAVA_HOME=/home/ji...
分类：
系统相关 时间：
2015-06-22 11:01:24
阅读次数：
514
构建在hadoop2.6.0之上的1.在官网下载spark-1.4.0-bin-hadoop2.6.tgz2.解压到你想要放的文件夹里，tar zxvf spark-1.4.0-bin-hadoop2.6.tgz3.配置profile sudo gedit /etc/profile在文件下面加入一下...
分类：
系统相关 时间：
2015-06-22 11:00:02
阅读次数：
585
#?-*-?coding:utf-8?-*-
‘‘‘
1,?从网站上下载spark
2,?py4j和pyspark这两个库放到Python环境中，
‘‘‘
import?os
os.environ[‘SPARK_HOME‘]?=?r‘E:\Dev\spark-1.4.0-bin-hadoop2.6‘
from?pyspark?impor...
分类：
编程语言 时间：
2015-06-22 06:31:49
阅读次数：
162
1、安装JDK1.7+
2、SSH互信免登陆
3、/etc/profile
HADOOP_PREFIX=/opt/hadoop
JAVA_HOME=/opt/jdk1.7
PATH=$PATH:$JAVA_HOME/bin:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin
export HADOOP_PREFIX PATH JAVA_HOME...
分类：
其他好文 时间：
2015-06-18 15:25:46
阅读次数：
134
一、在Ubuntu下创建hadoop组和hadoop用户
增加hadoop用户组，同时在该组里增加hadoop用户，后续在涉及到hadoop操作时，我们使用该用户。
1、创建hadoop用户组
2、创建hadoop用户
sudo adduser -ingroup hadoop hadoop
...
分类：
系统相关 时间：
2015-06-18 11:33:42
阅读次数：
175
