示例Spark SQL注册“临时表”执行“Join”（Inner Join、Left Outer Join、Right Outer Join、Full Outer Join）代码from pyspark import SparkConf, SparkContextfrom pyspark.sql i...
分类：
数据库 时间：
2015-10-19 17:20:03
阅读次数：
308
DT大数据梦工厂免费在百度 网盘分享的大数据视频：1，《Scala深入浅出实战经典》http://pan.baidu.com/s/1pJnAUr52，《Spark纯实战公益大讲坛》http://pan.baidu.com/s/1sLeVk3，《Docker公益大讲坛》http://pan.baidu...
分类：
其他好文 时间：
2015-10-19 07:02:39
阅读次数：
179
分布式系统实践1.从Storm和Spark 学习流式实时分布式计算的设计http://www.csdn.net/article/2014-08-04/2821018/1要点:流式计算并不是什么新鲜的东西, 相信很多同学也都用过. 不过之前流式计算往往都用在业务相关的地方, 随着大规模分布式系统对tr...
分类：
其他好文 时间：
2015-10-18 10:03:16
阅读次数：
272
1.安装windows2008 R2 46位 安装2008R2 关键步骤,网上有很多诸如此类的安装介绍.在些南昌网站建设公司百恒网络工程师就不作详细介绍.关键是要选择适合实际应用的部署.2.安装IIS 现在windows 相关的软件或组件安装越来越轻松,在些也不作多介绍,接下是重点.3.安装V1.....
@namespace s "library://ns.adobe.com/flex/spark"; @namespace mx "library://ns.adobe.com/flex/mx"; ...
分类：
其他好文 时间：
2015-10-15 12:35:46
阅读次数：
126
上一篇：Pentaho Data Integration笔记 (一)：安装介绍Spoon Intoduction site: http://wiki.pentaho.com/display/EAI/.01+Introduction+to+SpoonSpoon 是一个图形化用户界面，用户可以通过Spo...
分类：
其他好文 时间：
2015-10-14 17:49:56
阅读次数：
165
一、Transformationmap(func) 返回一个新的分布式数据集，由每个原元素经过函数处理后的新元素组成filter(func) 返回一个新的数据集，经过fun函数处理后返回值为true的原元素组成flatMap(func) 类似于map,但每个输入元素会被映射为0个或多个输出元素map...
分类：
其他好文 时间：
2015-10-14 01:34:27
阅读次数：
188
1.Spark集群部署及开发环境搭建。内容包括Hadoop集群、Spark集群搭建，IntellijIDEASpark开发环境搭建,SparkShell的使用等。2.Spark运行原理。内容包括spark脚本文件解析、Spark几种不同运行方式、RDD原理、宽依赖与窄依赖、Spark任务调度等。3.Spark编程模型，介绍Spark编程模..
分类：
其他好文 时间：
2015-10-13 12:22:05
阅读次数：
242
术语解释Executor多线程的方式运行每个partirion会被分配一个tasktaskset就是stage，一个stage由多个task组成广播变量类似于hadoop的DistributedCache
分类：
其他好文 时间：
2015-10-11 19:53:08
阅读次数：
211
Application 指用户编写的Spark应用程序，其中包含了一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码。Driver Spark中的Driver即运行上述Application的main()函数并创建SparkContext.创建的目的是为了初始化Spark的...
分类：
其他好文 时间：
2015-10-10 17:24:28
阅读次数：
226
