Spark版本:spark-1.1.0-bin-hadoop2.4 (下载:http://spark.apache.org/downloads.html)服务器环境的情况,请参考上篇博文hbase centOS生产环境配置笔记(hbase-r是ResourceManager; hbase-1, hb...
分类:
其他好文 时间:
2014-11-03 16:19:44
阅读次数:
288
结束historyserver的命令如下所示:第四步:验证Hadoop分布式集群首先在hdfs文件系统上创建两个目录,创建过程如下所示:Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件,程序运行的结果输出到/output/wordcount目录中,...
分类:
其他好文 时间:
2014-11-03 15:57:47
阅读次数:
175
三种状态:生命周期:代码表示://三种状态publicvoidtestThreeState(){TUser user=newTUser();user.setName("spark"); //此时user处于Transienttry{Transaction tx=session.beginTransa...
分类:
Web程序 时间:
2014-11-02 22:11:59
阅读次数:
253
使用Spark有一段时间了,现在记录spark调优的一些经验。1.textFile的minparitition,只是设置最小的partition数目,下界(比如3),当数据量大的时候,改参数不起作用。可以尝试设置成10002. reduceByKey的并行度,也就是reduce的数目。 2.1 s....
分类:
其他好文 时间:
2014-10-31 23:30:55
阅读次数:
326
“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第18期互动问答分享】 ? Q1:Master和Driver的是同一个东西吗? 两者不是同一个东西,在Standalone模式下Master是用于集群资源管理和调度的,而D...
分类:
其他好文 时间:
2014-10-31 16:07:53
阅读次数:
226
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂【第18期互动问答分享】Q1:Master和Driver的是同一个东西吗?两者不是同一个东西,在Standalone模式下Master是用于集群资源管理和调度的,而Driver适用于指挥Worker上的Executor通过多线的方式处理任务的;Master位于..
分类:
其他好文 时间:
2014-10-31 15:58:01
阅读次数:
219
一、进入IDE界面cd ~/Downloads/idea/binidea.sh二、建立scala项目Step 1:导入Spark-hadoop对应的包,次选择“File”–> “Project Structure” –> “Libraries”,选择“+”,将spark-hadoop 对应的包导入:...
分类:
系统相关 时间:
2014-10-29 23:29:50
阅读次数:
335
最近本人对各种分布式计算平台研究的比较火热,上周的时间简单了了解了Storm的用法,今天马不停蹄的开始了新的学习。同样是非常流行的分布式平台,Spark,跟Hadoop属于同类型的。Spark和Storm一样,作为最近才刚刚开源出来的一个项目,学习的资料相当少,大家都还在学习阶段,所以,我目前的学习的情况也只是限于比较粗糙的学习。
Spark是一个开源的通用并行分布式计...
分类:
其他好文 时间:
2014-10-27 23:10:00
阅读次数:
345
spark学习笔记
join跟union方法测试效果
join(otherDataset, [numTasks]):(K, V) join (K, W) => (K, (V, W))
测试过如果 没有join到的key,就没有数据,也就是两个RDD没有共同的K,则没有相应的数据
如:
res15: Array[(Int, Int)] =...
分类:
其他好文 时间:
2014-10-27 14:24:19
阅读次数:
117
上篇在总体上介绍了sparkSQL的运行架构及其基本实现方法(Tree和Rule的配合),也大致介绍了sparkSQL中涉及到的各个概念和组件。本篇将详细地介绍一下关键的一些概念和组件,由于hiveContext继承自sqlContext,关键的概念和组件类似,只不过后者针对hive的特性做了一些修正和重写,所以本篇就只介绍sqlContext的关键的概念和组件。
概念:
Logi...
分类:
数据库 时间:
2014-10-27 12:53:06
阅读次数:
616