码迷,mamicode.com
首页 >  
搜索关键字:sparksql    ( 306个结果
Spark企业级开发最佳实践
课程介绍本课程是世界上第一Spark企业级最佳实践课程,课程包含:Spark的架构设计;Spark编程模型;Spark内核框架源码剖析;Spark的广播变量与累加器;Shark的原理和使用;Spark的机器学习;Spark的图计算GraphX;SparkSQL;Spark实时流处理;Spark程序的...
分类:其他好文   时间:2014-12-23 06:40:31    阅读次数:216
征服Spark as a Service
Spark是当今大数据领域最活跃最热门的高效的大数据通用计算平台,基于RDD,Spark成功的构建起了一体化、多元化的大数据处理体系,在“OneStacktorulethemall”思想的引领下,Spark成功的使用SparkSQL、SparkStreaming、MLLib、GraphX近乎完美的解...
分类:其他好文   时间:2014-12-23 06:39:55    阅读次数:217
Spark深入浅出企业级最佳实践
课程介绍本课程是世界上第一Spark企业级最佳实践课程,课程包含:Spark的架构设计;Spark编程模型;Spark内核框架源码剖析;Spark的广播变量与累加器;Shark的原理和使用;Spark的机器学习;Spark的图计算GraphX;SparkSQL;Spark实时流处理;Spark程序的...
分类:其他好文   时间:2014-12-20 02:09:20    阅读次数:227
sparkSQL1.1入门之三:sparkSQL组件之解析
上篇在总体上介绍了sparkSQL的运行架构及其基本实现方法(Tree和Rule的配合),也大致介绍了sparkSQL中涉及到的各个概念和组件。本篇将详细地介绍一下关键的一些概念和组件,由于hiveContext继承自sqlContext,关键的概念和组件类似,只不过后者针对hive的特性做了一些修正和重写,所以本篇就只介绍sqlContext的关键的概念和组件。 概念: Logi...
分类:数据库   时间:2014-10-27 12:53:06    阅读次数:616
sparkSQL1.1入门之十:总结
回顾一下,在前面几章中,就sparkSQL1.1.0基本概念、运行架构、基本操作和实用工具做了基本介绍。 基本概念: SchemaRDD RuleTreeLogicPlanParserAnalyzerOptimizerSparkPlan 运行架构: sqlContext运行架构hiveContext运行架构 基本操作 原生RDD的操作parquet文件的操作j...
分类:数据库   时间:2014-10-23 12:29:53    阅读次数:298
sparkSQL1.1入门之九:sparkSQL之调优
spark是一个快速的内存计算框架;同时是一个并行运算的框架。在计算性能调优的时候,除了要考虑广为人知的木桶原理外,还要考虑平行运算的Amdahl定理。       木桶原理又称短板理论,其核心思想是:一只木桶盛水的多少,并不取决于桶壁上最高的那块木块,而是取决于桶壁上最短的那块。将这个理论应用到系统性能优化上,系统的最终性能取决于系统中性能表现最差的组件。例如,即使系统拥有充足的内存资源和...
分类:数据库   时间:2014-10-23 12:27:59    阅读次数:357
sparkSQL1.1入门之四:深入了解sparkSQL运行计划
前面两章花了不少篇幅介绍了SparkSQL的运行过程,很多读者还是觉得其中的概念很抽象,比如Unresolved LogicPlan、LogicPlan、PhysicalPlan是长得什么样子,没点印象,只知道名词,感觉很缥缈。本章就着重介绍一个工具hive/console,来加深读者对sparkSQL的运行计划的理解。 1:hive/console安装       spa...
分类:数据库   时间:2014-10-22 10:11:17    阅读次数:430
sparkSQL1.1入门之二:sparkSQL运行架构
在介绍sparkSQL之前,我们首先来看看,传统的关系型数据库是怎么运行的。当我们提交了一个很简单的查询: SELECT a1,a2,a3 FROM tableA Where condition 可以看得出来,该语句是由Projection(a1,a2,a3)、Data Source(tableA)、Filter(condition)组成,分别对应sql查询过程中的Result...
分类:数据库   时间:2014-10-10 10:48:14    阅读次数:2980
SparkSQL配置和使用初探
1.环境OS:Red Hat Enterprise Linux Server release 6.4 (Santiago)Hadoop:Hadoop 2.4.1Hive:0.11.0JDK:1.7.0_60Spark:1.1.0(内置SparkSQL)Scala:2.11.22.Spark集群规划账...
分类:数据库   时间:2014-10-09 01:49:27    阅读次数:306
spark视频-Spark SQL架构和案例深入实战
Spark亚太研究院决胜大数据时代公益大讲坛第五期:SparkSQL架构和案例深入实战,视频地址:http://pan.baidu.com/share/link?shareid=3629554384&uk=4013289088&fid=977951266414309王家林老师(邮箱:18610086...
分类:数据库   时间:2014-10-05 00:48:27    阅读次数:713
306条   上一页 1 ... 27 28 29 30 31 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!