下载源码&编译：git clone https://github.com/databricks/spark-avro.gitsbt/sbt packageMaven GAV：groupId: com.databricks.sparkartifactId: spark-avro_2.10version...
分类：
数据库 时间：
2014-12-24 11:31:53
阅读次数：
305
下载源码&编译：git clone https://github.com/databricks/spark-csv.gitsbt/sbt packageMaven GAV：groupId: com.databricks.sparkartifactId: spark-csv_2.10version: ...
分类：
数据库 时间：
2014-12-24 11:27:55
阅读次数：
514
在Spark1.2.0版本中是用parquet存储类型时注意事项：sql语句：select * from order_created_dynamic_partition_parquet;在spark-sql中执行结果：2014-05 [B@4621484a [B@3311163e2014-0...
分类：
数据库 时间：
2014-12-23 19:17:22
阅读次数：
326
Spark是当今大数据领域最活跃最热门的高效的大数据通用计算平台，基于RDD，Spark成功的构建起了一体化、多元化的大数据处理体系，在“OneStacktorulethemall”思想的引领下，Spark成功的使用SparkSQL、SparkStreaming、MLLib、GraphX近乎完美的解...
分类：
其他好文 时间：
2014-12-23 06:41:54
阅读次数：
192
课程介绍本课程是世界上第一Spark企业级最佳实践课程，课程包含：Spark的架构设计；Spark编程模型；Spark内核框架源码剖析；Spark的广播变量与累加器；Shark的原理和使用；Spark的机器学习；Spark的图计算GraphX；SparkSQL；Spark实时流处理；Spark程序的...
分类：
其他好文 时间：
2014-12-23 06:40:31
阅读次数：
216
Spark是当今大数据领域最活跃最热门的高效的大数据通用计算平台，基于RDD，Spark成功的构建起了一体化、多元化的大数据处理体系，在“OneStacktorulethemall”思想的引领下，Spark成功的使用SparkSQL、SparkStreaming、MLLib、GraphX近乎完美的解...
分类：
其他好文 时间：
2014-12-23 06:39:55
阅读次数：
217
课程介绍本课程是世界上第一Spark企业级最佳实践课程，课程包含：Spark的架构设计；Spark编程模型；Spark内核框架源码剖析；Spark的广播变量与累加器；Shark的原理和使用；Spark的机器学习；Spark的图计算GraphX；SparkSQL；Spark实时流处理；Spark程序的...
分类：
其他好文 时间：
2014-12-20 02:09:20
阅读次数：
227
为了支持hbase0.98.6，需要重新编译spark1. 下载spark 1.1.0源代码，以及scala-2.10.4的bin包。将环境变量 SCALA_HOME 设置为scala-2.10.4 的目录位置。2. 下载较新的pom.xml (https://github.com/tedyu/sp...
分类：
其他好文 时间：
2014-11-19 12:16:35
阅读次数：
481
上篇在总体上介绍了sparkSQL的运行架构及其基本实现方法（Tree和Rule的配合），也大致介绍了sparkSQL中涉及到的各个概念和组件。本篇将详细地介绍一下关键的一些概念和组件，由于hiveContext继承自sqlContext，关键的概念和组件类似，只不过后者针对hive的特性做了一些修正和重写，所以本篇就只介绍sqlContext的关键的概念和组件。
概念：
Logi...
分类：
数据库 时间：
2014-10-27 12:53:06
阅读次数：
616
回顾一下，在前面几章中，就sparkSQL1.1.0基本概念、运行架构、基本操作和实用工具做了基本介绍。
基本概念：
SchemaRDD
RuleTreeLogicPlanParserAnalyzerOptimizerSparkPlan
运行架构：
sqlContext运行架构hiveContext运行架构
基本操作
原生RDD的操作parquet文件的操作j...
分类：
数据库 时间：
2014-10-23 12:29:53
阅读次数：
298
