Spark SQL除了使用spark-sql命令进入交互式执行环境之外，还能够使用JDBC/ODBC或命令行接口进行分布式查询，在这个模式下，终端用户或应用可以直接和Spark SQL进行交互式SQL查询而不需要写任何scala代码。...
分类：
数据库 时间：
2015-06-25 09:06:40
阅读次数：
224
将hive-site.xml拷贝到$SPARK_HOME/conf中配置如hive使用mysql一样，注意赋予相应的权限。javax.jdo.option.ConnectionURLjdbc:mysql://xxxx:3306/sparkmetadata?createDatabaseIfNotExist=true启动spark-sql要给driver路径spark-sql
--driver-class-path
/usr/local/spark/spa..
分类：
数据库 时间：
2015-06-23 18:12:40
阅读次数：
174
出现这个问题，是因为spark的excutor执行的时候，缺少hive的依赖包，添加依赖包的参数是：--conf "spark.executor.extraClassPath=/opt/cloudera/parcels/CDH-5.3.1-1.cdh5.3.1.p0.5/lib/hive/lib/*...
分类：
数据库 时间：
2015-06-23 13:30:45
阅读次数：
337
在cdh5.3中的spark，已经包含了sparksql，只需要做以下几步配置，就可以在使用该功能1）确保hive的cli和jdbc都可以正常工作2）把hive-site.xml 复制到 SPARK_HOME/conf目录下3）将hive的类库添加到spark classpath中：编辑SPARK_...
分类：
数据库 时间：
2015-06-19 01:25:51
阅读次数：
425
一、环境说明Mac OSX 10.10.3 Java 1.7.0_71Spark 1.4.0二、编译安装tar -zxvf spark-1.4.0.tgzcd spark-1.4.0./sbt/sbt assemblyps：如果之前执行过编译，需要执行./sbt/sbt clean清理后才能重新编....
分类：
其他好文 时间：
2015-06-14 12:17:06
阅读次数：
202
Spark编译的目前都是基于Scala2.10.4的，安装Scala插件版本也是选择2.10.4，否则eclipse会报spark的jar包和scala版本不兼容的错误.ScalaIDEforEclipse不同的Eclipse版本对应插件也的不同下载地址：http://scala-ide.org/download/prev-stable.html
Eclipse3.8-4.3(JunoandKeple..
分类：
系统相关 时间：
2015-06-07 21:50:00
阅读次数：
286
本文测试的Spark版本是1.3.1本文将在Spark集群上搭建一个简单的小型的电影推荐系统，以为之后的完整项目做铺垫和知识积累整个系统的工作流程描述如下：
1.某电影网站拥有可观的电影资源和用户数，通过各个用户对各个电影的评分，汇总得到了海量的用户-电影-评分数据
2.我在一个电影网站上看了几部电影，并都为其做了评分操作（0-5分）
3.该电影网站的推荐系统根据我对那几部电影的评分，要预测出...
分类：
数据库 时间：
2015-05-27 22:56:56
阅读次数：
377
Text文本文件测试一个简单的person.txt文件内容为：JChubby,13
Looky,14
LL,15
分别是Name和Age在Idea中新建Object，原始代码如下：object TextFile{
def main(args:Array[String]){ }
}SparkSQL编程模型：第一步：
需要一个SQLContext对象，该对象是SparkSQL操作的入口...
分类：
数据库 时间：
2015-05-25 10:03:28
阅读次数：
216
首先介绍一下Shark的概念
Shark简单的说就是Spark上的Hive，其底层依赖于Hive引擎的
但是在Spark平台上，Shark的解析速度是Hive的几多倍
它就是Hive在Spark上的体现，并且是升级版，一个强大的数据仓库，并且是兼容Hive语法的下面给出一张来自网上的Shark构架图从图上可以看出，Spark的最底层大部分还是基于HDFS的，Shark中的数据信息等也是对应着H...
分类：
数据库 时间：
2015-05-15 09:11:25
阅读次数：
314
spark编译： 1、java安装（建议用jdk1.6） 2、编译命令 ./make-distribution.sh --tgz -Phadoop-2.4 -Dhadoop.version=2.6.0 -Pyarn -DskipTests -Phive -Phive-thri...
分类：
其他好文 时间：
2015-04-24 18:34:53
阅读次数：
148
