码迷,mamicode.com
首页 >  
搜索关键字:spark history    ( 9960个结果
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(6)
结束historyserver的命令如下所示:第四步:验证Hadoop分布式集群首先在hdfs文件系统上创建两个目录,创建过程如下所示:Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件,程序运行的结果输出到/output/wordcount目录中,透过Web控制可以发现我们成功创建..
分类:其他好文   时间:2014-11-03 16:35:08    阅读次数:127
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(6)
结束historyserver的命令如下所示: 第四步:验证Hadoop分布式集群 首先在hdfs文件系统上创建两个目录,创建过程如下所示: Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件,程序运行的结果输出到/output/wordcount目录中,透过Web控制可以发现我们成功创建了两个文件夹: ...
分类:其他好文   时间:2014-11-03 16:31:40    阅读次数:142
Spark 1.1.0 安装测试 (分布式 Yarn-cluster模式)
Spark版本:spark-1.1.0-bin-hadoop2.4 (下载:http://spark.apache.org/downloads.html)服务器环境的情况,请参考上篇博文hbase centOS生产环境配置笔记(hbase-r是ResourceManager; hbase-1, hb...
分类:其他好文   时间:2014-11-03 16:19:44    阅读次数:288
【Spark亚太研究院系列丛书】Spark实战高手之路-第一章 构建Spark集群(第五步)(6)
结束historyserver的命令如下所示:第四步:验证Hadoop分布式集群首先在hdfs文件系统上创建两个目录,创建过程如下所示:Hdfs中的/data/wordcount用来存放Hadoop自带的WordCount例子的数据文件,程序运行的结果输出到/output/wordcount目录中,...
分类:其他好文   时间:2014-11-03 15:57:47    阅读次数:175
linux 快捷键
Tab:命令补全Ctrl+C:终止当前命令Ctrl+a:返回命令行首Ctrl+e:返回命令行尾Ctrl+r:查找之前输入过的命令history:查找历史记录!!:调出最近一次操作的命令!+字母:调出最近以字母开头的命令!+数字:调出历史命令的第几个
分类:系统相关   时间:2014-11-03 01:31:52    阅读次数:197
linux笔记
查看当前用户:whoami添加普通用户useraddtom设置用户密码passwdtom不需要交互更新密码:echo123|passwd--stdintom因这条命令暴露了要更新的密码,所以我们要把命令历史记录删除history-d行号可以删除历史记录history-c全部清除历史记录超级管理员跟普通用户的区别[root@liange..
分类:系统相关   时间:2014-11-03 01:27:34    阅读次数:252
Hibernate学习之三种状态及生命周期(图)
三种状态:生命周期:代码表示://三种状态publicvoidtestThreeState(){TUser user=newTUser();user.setName("spark"); //此时user处于Transienttry{Transaction tx=session.beginTransa...
分类:Web程序   时间:2014-11-02 22:11:59    阅读次数:253
Magento后台手动修改订单状态方法
订单详细内容页手动修改订单状态方法:打开此文件:app\design\adminhtml\default\default\template\sales\order\view\history.phtml34行位置为如下原本内容: getStatuses() as $_code=>...
分类:其他好文   时间:2014-11-02 19:28:12    阅读次数:131
POJ1789&ZOJ2158--Truck History【最小生成树变形】
链接:http://poj.org/problem?id=1789题意:卡车公司有悠久的历史,它的每一种卡车都有一个唯一的字符串来表示,长度为7,它的全部卡车(除了第一辆)都是由曾经的卡车派生出来的。如今一些砖家想研究这些卡车的历史,他们定义了卡车类型编码的距离:卡车编码字符串(长度7)同样位置字符...
分类:其他好文   时间:2014-11-01 11:25:34    阅读次数:233
Spark调优
使用Spark有一段时间了,现在记录spark调优的一些经验。1.textFile的minparitition,只是设置最小的partition数目,下界(比如3),当数据量大的时候,改参数不起作用。可以尝试设置成10002. reduceByKey的并行度,也就是reduce的数目。 2.1 s....
分类:其他好文   时间:2014-10-31 23:30:55    阅读次数:326
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!