如何配置高性能的spark集群？如何配置Hadoop的配置文件？如何对spark配置进行合理的优化？...
分类：
其他好文 时间：
2014-11-04 09:26:07
阅读次数：
298
一、下载并安装openfire 1、下载最新的openfire安装文件 官方下载站点：http://www.igniterealtime.org/downloads/index.jsp#openfire openfire是服务器，下面还有一个spark，这个是一个XMPP协议通信聊天的C...
分类：
系统相关 时间：
2014-11-04 01:40:50
阅读次数：
219
结束historyserver的命令如下所示： 第四步：验证Hadoop分布式集群 首先在hdfs文件系统上创建两个目录，创建过程如下所示： Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件，程序运行的结果...
分类：
其他好文 时间：
2014-11-03 16:38:12
阅读次数：
215
结束historyserver的命令如下所示：第四步：验证Hadoop分布式集群首先在hdfs文件系统上创建两个目录，创建过程如下所示：Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件，程序运行的结果输出到/output/wordcount目录中，透过Web控制可以发现我们成功创建..
分类：
其他好文 时间：
2014-11-03 16:35:08
阅读次数：
127
结束historyserver的命令如下所示：
第四步：验证Hadoop分布式集群
首先在hdfs文件系统上创建两个目录，创建过程如下所示：
Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件，程序运行的结果输出到/output/wordcount目录中，透过Web控制可以发现我们成功创建了两个文件夹：
...
分类：
其他好文 时间：
2014-11-03 16:31:40
阅读次数：
142
Spark版本：spark-1.1.0-bin-hadoop2.4 (下载：http://spark.apache.org/downloads.html)服务器环境的情况，请参考上篇博文hbase centOS生产环境配置笔记(hbase-r是ResourceManager; hbase-1, hb...
分类：
其他好文 时间：
2014-11-03 16:19:44
阅读次数：
288
结束historyserver的命令如下所示：第四步：验证Hadoop分布式集群首先在hdfs文件系统上创建两个目录，创建过程如下所示：Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件，程序运行的结果输出到/output/wordcount目录中，...
分类：
其他好文 时间：
2014-11-03 15:57:47
阅读次数：
175
三种状态：生命周期：代码表示：//三种状态publicvoidtestThreeState(){TUser user=newTUser();user.setName("spark"); //此时user处于Transienttry{Transaction tx=session.beginTransa...
分类：
Web程序 时间：
2014-11-02 22:11:59
阅读次数：
253
使用Spark有一段时间了，现在记录spark调优的一些经验。1.textFile的minparitition，只是设置最小的partition数目，下界（比如3），当数据量大的时候，改参数不起作用。可以尝试设置成10002. reduceByKey的并行度，也就是reduce的数目。 2.1 s....
分类：
其他好文 时间：
2014-10-31 23:30:55
阅读次数：
326
“决胜云计算大数据时代” Spark亚太研究院100期公益大讲堂 【第18期互动问答分享】 ? Q1：Master和Driver的是同一个东西吗？ 两者不是同一个东西，在Standalone模式下Master是用于集群资源管理和调度的，而D...
分类：
其他好文 时间：
2014-10-31 16:07:53
阅读次数：
226
