码迷,mamicode.com
首页 >  
搜索关键字:spark streaming源码解读    ( 7001个结果
Spark 1.1.0 安装测试 (分布式 Yarn-cluster模式)
Spark版本:spark-1.1.0-bin-hadoop2.4 (下载:http://spark.apache.org/downloads.html)服务器环境的情况,请参考上篇博文hbase centOS生产环境配置笔记(hbase-r是ResourceManager; hbase-1, hb...
分类:其他好文   时间:2014-11-03 16:19:44    阅读次数:288
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(6)
结束historyserver的命令如下所示:第四步:验证Hadoop分布式集群首先在hdfs文件系统上创建两个目录,创建过程如下所示:Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件,程序运行的结果输出到/output/wordcount目录中,...
分类:其他好文   时间:2014-11-03 15:57:47    阅读次数:175
Hibernate学习之三种状态及生命周期(图)
三种状态:生命周期:代码表示://三种状态publicvoidtestThreeState(){TUser user=newTUser();user.setName("spark"); //此时user处于Transienttry{Transaction tx=session.beginTransa...
分类:Web程序   时间:2014-11-02 22:11:59    阅读次数:253
Spark调优
使用Spark有一段时间了,现在记录spark调优的一些经验。1.textFile的minparitition,只是设置最小的partition数目,下界(比如3),当数据量大的时候,改参数不起作用。可以尝试设置成10002. reduceByKey的并行度,也就是reduce的数目。 2.1 s....
分类:其他好文   时间:2014-10-31 23:30:55    阅读次数:326
【互动问答分享】第18期决胜云计算大数据时代Spark亚太研究院公益大讲堂(改)
“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第18期互动问答分享】 ? Q1:Master和Driver的是同一个东西吗? 两者不是同一个东西,在Standalone模式下Master是用于集群资源管理和调度的,而D...
分类:其他好文   时间:2014-10-31 16:07:53    阅读次数:226
【互动问答分享】第18期决胜云计算大数据时代Spark亚太研究院公益大讲堂
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第18期互动问答分享】Q1:Master和Driver的是同一个东西吗?两者不是同一个东西,在Standalone模式下Master是用于集群资源管理和调度的,而Driver适用于指挥Worker上的Executor通过多线的方式处理任务的;Master位于..
分类:其他好文   时间:2014-10-31 15:58:01    阅读次数:219
ubuntu下Sprak(IDE)wordcount例子
一、进入IDE界面cd ~/Downloads/idea/binidea.sh二、建立scala项目Step 1:导入Spark-hadoop对应的包,次选择“File”–> “Project Structure” –> “Libraries”,选择“+”,将spark-hadoop 对应的包导入:...
分类:系统相关   时间:2014-10-29 23:29:50    阅读次数:335
Spark基础概况
最近本人对各种分布式计算平台研究的比较火热,上周的时间简单了了解了Storm的用法,今天马不停蹄的开始了新的学习。同样是非常流行的分布式平台,Spark,跟Hadoop属于同类型的。Spark和Storm一样,作为最近才刚刚开源出来的一个项目,学习的资料相当少,大家都还在学习阶段,所以,我目前的学习的情况也只是限于比较粗糙的学习。              Spark是一个开源的通用并行分布式计...
分类:其他好文   时间:2014-10-27 23:10:00    阅读次数:345
Spark学习笔记
spark学习笔记 join跟union方法测试效果 join(otherDataset, [numTasks]):(K, V) join (K, W) => (K, (V, W)) 测试过如果  没有join到的key,就没有数据,也就是两个RDD没有共同的K,则没有相应的数据 如: res15: Array[(Int, Int)] =...
分类:其他好文   时间:2014-10-27 14:24:19    阅读次数:117
sparkSQL1.1入门之三:sparkSQL组件之解析
上篇在总体上介绍了sparkSQL的运行架构及其基本实现方法(Tree和Rule的配合),也大致介绍了sparkSQL中涉及到的各个概念和组件。本篇将详细地介绍一下关键的一些概念和组件,由于hiveContext继承自sqlContext,关键的概念和组件类似,只不过后者针对hive的特性做了一些修正和重写,所以本篇就只介绍sqlContext的关键的概念和组件。 概念: Logi...
分类:数据库   时间:2014-10-27 12:53:06    阅读次数:616
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!