一、环境及软件安装环境:安装目录: /usr/local/ae/ankabanHadoop 安装目录 export HADOOP_HOME=/usr/local/ae/hadoop-1.2.1azkaban-executor-2.5.0安装目录:/usr/local/ae/azkaban/azkab...
分类:
其他好文 时间:
2014-07-16 19:08:09
阅读次数:
2894
http://hadoop.apache.org/docs/r1.2.1/fair_scheduler.htmlfair-scheduler.xml文档 5 5 15 15 300 5 5 5 3 600 ...
分类:
其他好文 时间:
2014-07-16 18:31:19
阅读次数:
213
最近由于投了一家公司实习,他要java工程师,而我大学3年的精力都花到了ASP.NET和前端上面,到找工作的时候才发现大公司不要.NET的,所以马上转型java。。。由于网上的高手都不屑于写这类文章,或者写了都是比较模糊的,如果要快速入手比较费时间了,至少得多看几篇。开发环境:eclipse-SDK...
分类:
编程语言 时间:
2014-07-16 18:29:51
阅读次数:
292
源码编译我的测试环境:系统:Centos 6.4 - 64位Java:1.7.45Scala:2.10.4Hadoop:2.2.0Spark 1.0.0源码地址:http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0.tgz解压源码,在根去根目录下执行以下命...
分类:
其他好文 时间:
2014-07-16 18:01:44
阅读次数:
405
初学嵌入式开发,由于是自学,走了很多弯路,现总结一下嵌入式ARM-LINUX开发环境搭建步骤: 1、安装linux系统,由于初学,我选择fedora 14.安装的具体步骤就不详细说了。 2、安装NFS服务器: NFS服务器用于UNIX和UNIX之间的通信,分为主机和客服端,需要安装NFS服...
分类:
系统相关 时间:
2014-07-16 17:51:01
阅读次数:
313
因为Spark的缘故,我们来看看另外一门语言——Scala,为什么要看这门语言呢?唉~其实你不看也没关系,只不过spark的内核就是用Scala写的,spark也提供其他语言的编程模型....看自己爱好啦~
1、下载
地址:http://www.scala-lang.org/download/2.11.1.html
下载安装即可,这没什么好说的,如果不会,那我建议你也不要做开发了,回家...
分类:
系统相关 时间:
2014-07-16 17:36:24
阅读次数:
263
1.出现This AndroidSDK requires Android Developer Toolkit version 20.0.0or above 的报错windows下面安装Android虚拟机,有时候选择更新SDK后,在Eclipse preference里指向android_sdk_w...
分类:
移动开发 时间:
2014-07-15 23:38:27
阅读次数:
342
C++ 11开发环境搭建(Windows Platform)
IDE:Code::Blocks 12.11版本
Compiler:TDM-GCC http://tdm-gcc.tdragon.net/ TDM64 Bundle GCC 4.8.1
问:什么是TDM-GCC?
答:A compiler suite for 32- and 64-bit Wi...
分类:
编程语言 时间:
2014-07-15 22:35:06
阅读次数:
307
一、概述本文将介绍ResourceManager在Yarn中的功能作用,从更细的粒度分析RM内部组成的各个组件功能和他们相互的交互方式。二、ResourceManager的交互协议与基本职能1、ResourceManager交互协议在整个Yarn框架中主要涉及到7个协议,分别是ApplicationClientProtocol、MRClientP..
分类:
其他好文 时间:
2014-07-15 12:18:57
阅读次数:
1022
先简单的理解,以后补充:为了解决hadoop分布式系统的一致性问题 ,有很多人提出很多protocol,其中就有有名的Paxos算法(Latex作者提出,算法需要学习),但是Chubby并不是一个算法或者protocol,它是一项service,是一个lock service,这个service的实...
分类:
其他好文 时间:
2014-07-14 20:52:46
阅读次数:
250