课程介绍本课程是世界上第一Spark企业级最佳实践课程，课程包含：Spark的架构设计；Spark编程模型；Spark内核框架源码剖析；Spark的广播变量与累加器；Shark的原理和使用；Spark的机器学习；Spark的图计算GraphX；SparkSQL；Spark实时流处理；Spark程序的...
分类：
其他好文 时间：
2014-12-23 06:40:31
阅读次数：
216
Spark是当今大数据领域最活跃最热门的高效的大数据通用计算平台，基于RDD，Spark成功的构建起了一体化、多元化的大数据处理体系，在“OneStacktorulethemall”思想的引领下，Spark成功的使用SparkSQL、SparkStreaming、MLLib、GraphX近乎完美的解...
分类：
其他好文 时间：
2014-12-23 06:39:55
阅读次数：
217
课程介绍本课程是世界上第一Spark企业级最佳实践课程，课程包含：Spark的架构设计；Spark编程模型；Spark内核框架源码剖析；Spark的广播变量与累加器；Shark的原理和使用；Spark的机器学习；Spark的图计算GraphX；SparkSQL；Spark实时流处理；Spark程序的...
分类：
其他好文 时间：
2014-12-20 02:09:20
阅读次数：
227
上篇在总体上介绍了sparkSQL的运行架构及其基本实现方法（Tree和Rule的配合），也大致介绍了sparkSQL中涉及到的各个概念和组件。本篇将详细地介绍一下关键的一些概念和组件，由于hiveContext继承自sqlContext，关键的概念和组件类似，只不过后者针对hive的特性做了一些修正和重写，所以本篇就只介绍sqlContext的关键的概念和组件。
概念：
Logi...
分类：
数据库 时间：
2014-10-27 12:53:06
阅读次数：
616
回顾一下，在前面几章中，就sparkSQL1.1.0基本概念、运行架构、基本操作和实用工具做了基本介绍。
基本概念：
SchemaRDD
RuleTreeLogicPlanParserAnalyzerOptimizerSparkPlan
运行架构：
sqlContext运行架构hiveContext运行架构
基本操作
原生RDD的操作parquet文件的操作j...
分类：
数据库 时间：
2014-10-23 12:29:53
阅读次数：
298
spark是一个快速的内存计算框架；同时是一个并行运算的框架。在计算性能调优的时候，除了要考虑广为人知的木桶原理外，还要考虑平行运算的Amdahl定理。
木桶原理又称短板理论，其核心思想是：一只木桶盛水的多少，并不取决于桶壁上最高的那块木块，而是取决于桶壁上最短的那块。将这个理论应用到系统性能优化上，系统的最终性能取决于系统中性能表现最差的组件。例如，即使系统拥有充足的内存资源和...
分类：
数据库 时间：
2014-10-23 12:27:59
阅读次数：
357
前面两章花了不少篇幅介绍了SparkSQL的运行过程，很多读者还是觉得其中的概念很抽象，比如Unresolved LogicPlan、LogicPlan、PhysicalPlan是长得什么样子，没点印象，只知道名词，感觉很缥缈。本章就着重介绍一个工具hive/console，来加深读者对sparkSQL的运行计划的理解。
1：hive/console安装
spa...
分类：
数据库 时间：
2014-10-22 10:11:17
阅读次数：
430
在介绍sparkSQL之前，我们首先来看看，传统的关系型数据库是怎么运行的。当我们提交了一个很简单的查询：
SELECT a1,a2,a3 FROM tableA Where condition
可以看得出来，该语句是由Projection（a1，a2，a3）、Data Source（tableA）、Filter（condition）组成，分别对应sql查询过程中的Result...
分类：
数据库 时间：
2014-10-10 10:48:14
阅读次数：
2980
1.环境OS:Red Hat Enterprise Linux Server release 6.4 (Santiago)Hadoop:Hadoop 2.4.1Hive：0.11.0JDK:1.7.0_60Spark:1.1.0（内置SparkSQL）Scala:2.11.22.Spark集群规划账...
分类：
数据库 时间：
2014-10-09 01:49:27
阅读次数：
306
Spark亚太研究院决胜大数据时代公益大讲坛第五期：SparkSQL架构和案例深入实战，视频地址：http://pan.baidu.com/share/link?shareid=3629554384&uk=4013289088&fid=977951266414309王家林老师(邮箱：18610086...
分类：
数据库 时间：
2014-10-05 00:48:27
阅读次数：
713
