1 修改$SPARK_HOME/conf目录下的spark-defaults.conf文件添加以下配置项spark.sql.hive.convertMetastoreParquet falsehive.exec.compress.output false如果spark.sql.hive.conver...
分类：
其他好文 时间：
2015-10-10 15:21:01
阅读次数：
273
问题：
spark集成hive，启动spark-shell或者spark-sql的时候，报错：INFO MetaStoreDirectSql: MySQL check failed, assuming we are not on mysql: Lexical error at line 1, column 5. Encountered: "@" (64), after : "".环境：
spa...
分类：
数据库 时间：
2015-10-05 20:50:33
阅读次数：
430
一. Spark SQL和SchemaRDD 关于Spark SQL的前生就不再多说了，我们只关注它的操作。但是，首先要搞明白一个问题，那就是究竟什么是SchemaRDD呢？从Spark的Scala API可以知道org.apache.spark.sql.SchemaRDD和class Schema...
分类：
数据库 时间：
2015-10-05 18:10:57
阅读次数：
440
1 ? ?Table of Contents spark 总揽 spark core spark sql spark mllib spark graphx spark streaming 2 ? ?spark 总揽 spark官网：https://spark.apache.org/ spark 资料集中营，覆盖各种视频，论文，博客，...
分类：
其他好文 时间：
2015-09-14 21:20:00
阅读次数：
163
/** * Created by root on 9/7/15. */import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.SQLContextobject S...
分类：
数据库 时间：
2015-09-09 16:22:17
阅读次数：
225
当下，Spark已经在国内得到了广泛的认可和支持：2014年，Spark Summit China在北京召开，场面火爆；同年，Spark Meetup在北京、上海、深圳和杭州四个城市举办，其中仅北京就成功举办了5次，内容更涵盖Spark Core、Spark Streaming、Spark MLlib、Spark SQL等众多领域。而作为较早关注和引入Spark的移动互联网大数据综合服务公司，Ta...
分类：
其他好文 时间：
2015-08-31 13:40:47
阅读次数：
354
启动hadoop，启动Spark。 造一份简单的测试数据customers.txt，为了方便，我把它放在了spark/bin目录：100, John Smith, Austin, TX, 78727200, Joe Johnson, Dallas, TX, 75201300, Bob Jone...
分类：
数据库 时间：
2015-08-16 21:02:05
阅读次数：
312
背景这一篇可以说是“HiveJSON数据处理的一点探索”的兄弟篇。平台为了加速即席查询的分析效率，在我们的Hadoop集群上安装部署了Spark Server，并且与我们的Hive数据仓库共享元数据。也就是说，我们的用户即可以通过HiveServer2使用Hive SQL执行MapReduce分析数...
分类：
数据库 时间：
2015-08-14 15:15:07
阅读次数：
334
