目的
这份文档描述 CapacityScheduler,一个为Hadoop能允许多用户安全地共享一个大集群的插件式调度器,如他们的应用能适时被分配限制的容量。
概述
CapacityScheduler 被设计成以分享的、多用户集群运行 Hadoop 应用并最大化利用集群的机制。
传统上,每一个组织都会有它自己的私有电脑资源,在顶峰或接近顶峰状态有充足的容量来面对组织的SLA...
分类:
其他好文 时间:
2014-05-09 13:59:54
阅读次数:
424
PS:在学习python的时间里,抽空复习自己学习的Linux下的shell脚本知识点1.数据类型
学习一门语言,比较关心其数据的表示方式,以及数据的类型,这里首先看一个bash shell的脚本 执行脚本如下, 由此得出以下结论:
shell中,所有的变量字面类型都是字符串;仅当变量值全部...
分类:
其他好文 时间:
2014-05-09 08:00:40
阅读次数:
347
在这里稍微解释下几个文件的作用,/etc/bashrc、/etc/profile是系统全局环境变量设置,给所有用户使用,~/.bashrc、~/.bash_profile、~/.bash_login、~/.profile是用户目录下的私有变量设置。当进入系统运行一个bash
shell进程时,读取环...
分类:
其他好文 时间:
2014-05-09 07:46:34
阅读次数:
352
最近经常有些新同学不小心把根目录删了,所以为了防止这种情况我给你们写了一个小脚本。由于学习的需要,有些同学确实需要使用root用户,由于root用户的权限过大,偶尔的小失误可能造成很大的损失,这里便为你们准备了一个脚本。当然,平时如果不需要root权限的朋友,为了安全..
分类:
系统相关 时间:
2014-05-09 07:05:24
阅读次数:
321
egrep命令等同于grep命令加上-E选项,它支持扩展的正则表达式。扩展正则表达式和基本正则表达式类似,不同之处在于增加了一些新功能,部分元字符的用法也略有不同:.:任意单个字符[]:指定范围内的任意单个字符[^]:取反*:匹配其前的字符0次、1次或多次?:0次或1次{m,n}:至..
分类:
其他好文 时间:
2014-05-09 07:01:10
阅读次数:
431
接到阿里电话说实习和竞赛智能二选一, 真伤心, 在实习前发挥余热吧.
总结一下在ODPS下 编写map / reduce 和进行购买预测的过程.
首先这里的hadoop输入输出都是表的形式, 我们需要一张输入表和一张输出表.
输入表为 提供的 t_alibaba_bigdata_user_brand_total_1 输出表为自定义的wc_out
w...
分类:
其他好文 时间:
2014-05-09 02:33:28
阅读次数:
418
根据最新的appium 1.0版本整理,入门基础,让小白立马能够进行自动化代码。...
分类:
移动开发 时间:
2014-05-09 02:25:04
阅读次数:
537
对这个课程感兴趣的朋友可以加我QQ2059055336和我联系。ZooKeeper是Hadoop的开源子项目(GoogleChubby的开源实现),它是一个针对大型分布式系统的可靠协调系统,提供的功能包括:配置维护、命名服务、分布式同步、组服务等。Zookeeper的FastFail和Leader选举特性大大增强了分..
分类:
其他好文 时间:
2014-05-09 00:54:51
阅读次数:
265
1.COPY配置文件:cphive-default.xml.templatehive-site.xmlcphive-env.sh.templatehive-env.shcphive-exec-log4j.properties.templatehive-exec-log4j.propertiescphive-log4j.properties.templatehive-log4j.properties2.配置HADOOP主目录:vimhive-env.shHADOOP_HOME=/usr/a..
分类:
其他好文 时间:
2014-05-09 00:51:29
阅读次数:
282