将hive-site.xml拷贝到$SPARK_HOME/conf中配置如hive使用mysql一样，注意赋予相应的权限。javax.jdo.option.ConnectionURLjdbc:mysql://xxxx:3306/sparkmetadata?createDatabaseIfNotExist=true启动spark-sql要给driver路径spark-sql
--driver-class-path
/usr/local/spark/spa..
分类：
数据库 时间：
2015-06-23 18:12:40
阅读次数：
174
1、下载sparkhttp://mirrors.cnnic.cn/apache/spark/spark-1.3.0/spark-1.3.0-bin-hadoop2.3.tgz2、下载scalahttp://www.scala-lang.org/download/2.10.5.html3、安装scalamkdir/usr/lib/scalatar–zxvfscala-2.10.5.tgzmvscala-2.10.5/usr/lib/scala4、设置scala路径vim/etc/..
分类：
其他好文 时间：
2015-06-23 18:11:26
阅读次数：
117
spark将数据写入redis时调用以下代码会报 org.apache.spark.SparkException: Task not serializableimport com.redis.RedisClientval r = new RedisClient("192.168.1.101", 63...
分类：
Web程序 时间：
2015-06-23 15:15:13
阅读次数：
105
1）spark把数据写入到hbase需要用到：PairRddFunctions的saveAsHadoopDataset方法，这里用到了implicit conversion，需要我们引入import org.apache.spark.SparkContext._2）spark写入hbase，实质是借...
分类：
其他好文 时间：
2015-06-23 14:58:59
阅读次数：
516
出现这个问题，是因为spark的excutor执行的时候，缺少hive的依赖包，添加依赖包的参数是：--conf "spark.executor.extraClassPath=/opt/cloudera/parcels/CDH-5.3.1-1.cdh5.3.1.p0.5/lib/hive/lib/*...
分类：
数据库 时间：
2015-06-23 13:30:45
阅读次数：
337
spark版本 1.3.1scala版本 2.11.6参考官网 http://spark.apache.org/docs/latest/mllib-clustering.html运行spark-shell后,首先导入需要的模块import org.apache.spark.mllib.cluster...
分类：
编程语言 时间：
2015-06-23 11:36:04
阅读次数：
123
1. spark-submit脚本exec $SPARK_HOME/bin/spark-class org.apache.spark.deploy.SparkSubmit "${ORIG_ARGS[@]}"2. SparkSubmit中的main函数def main(args: Array[Stri...
分类：
其他好文 时间：
2015-06-22 16:09:21
阅读次数：
121
环境：spark1.4.0,hadoop2.6.01.安装好jdk2.在spark的conf目录下找到spark-env.sh.template，打开，在后面加上export SCALA_HOME=/home/jiahong/scala-2.11.6export JAVA_HOME=/home/ji...
分类：
系统相关 时间：
2015-06-22 11:01:24
阅读次数：
514
构建在hadoop2.6.0之上的1.在官网下载spark-1.4.0-bin-hadoop2.6.tgz2.解压到你想要放的文件夹里，tar zxvf spark-1.4.0-bin-hadoop2.6.tgz3.配置profile sudo gedit /etc/profile在文件下面加入一下...
分类：
系统相关 时间：
2015-06-22 11:00:02
阅读次数：
585
#?-*-?coding:utf-8?-*-
‘‘‘
1,?从网站上下载spark
2,?py4j和pyspark这两个库放到Python环境中，
‘‘‘
import?os
os.environ[‘SPARK_HOME‘]?=?r‘E:\Dev\spark-1.4.0-bin-hadoop2.6‘
from?pyspark?impor...
分类：
编程语言 时间：
2015-06-22 06:31:49
阅读次数：
162
