[Spark亚太研究院 决战云计算大数据时代 100期公益大讲堂 互动问答]Q1：我想问，hdfs的namenode挂了，怎么处理？ 使用ZooKeeper； 使用Mesos； 使用Yarn；Q2：用python和scala区别大吗？ 就代码的风格而言是不大的； 世界上也有很多人使用python开发...
分类：
其他好文 时间：
2014-07-16 19:09:29
阅读次数：
294
一、环境及软件安装环境：安装目录： /usr/local/ae/ankabanHadoop 安装目录 export HADOOP_HOME=/usr/local/ae/hadoop-1.2.1azkaban-executor-2.5.0安装目录：/usr/local/ae/azkaban/azkab...
分类：
其他好文 时间：
2014-07-16 19:08:09
阅读次数：
2894
http://hadoop.apache.org/docs/r1.2.1/fair_scheduler.htmlfair-scheduler.xml文档 5 5 15 15 300 5 5 5 3 600 ...
分类：
其他好文 时间：
2014-07-16 18:31:19
阅读次数：
213
源码编译我的测试环境：系统：Centos 6.4 - 64位Java：1.7.45Scala：2.10.4Hadoop：2.2.0Spark 1.0.0源码地址：http://d3kbcqa49mib13.cloudfront.net/spark-1.0.0.tgz解压源码，在根去根目录下执行以下命...
分类：
其他好文 时间：
2014-07-16 18:01:44
阅读次数：
405
本文内容并非原创，使用资料均来自互联网。dubbo使用了zkClient而不是使用zookeeper本身的客户端与zookeeper进行交互，为什么呢？先看看zookeeper本身自带的客户端的问题。1）ZooKeeper的Watcher是一次性的，用过了需要再注册；2）session的超时后没有自...
分类：
其他好文 时间：
2014-07-16 17:48:15
阅读次数：
239
本文摘自dubbo的官方文档，原文请参见：http://alibaba.github.io/dubbo-doc-static/User+Guide-zh.htm#UserGuide-zh-Zookeeper%E6%B3%A8%E5%86%8C%E4%B8%AD%E5%BF%83如转发，请标明文章来源...
分类：
其他好文 时间：
2014-07-16 17:46:45
阅读次数：
278
一、概述本文将介绍ResourceManager在Yarn中的功能作用，从更细的粒度分析RM内部组成的各个组件功能和他们相互的交互方式。二、ResourceManager的交互协议与基本职能1、ResourceManager交互协议在整个Yarn框架中主要涉及到7个协议，分别是ApplicationClientProtocol、MRClientP..
分类：
其他好文 时间：
2014-07-15 12:18:57
阅读次数：
1022
先简单的理解，以后补充：为了解决hadoop分布式系统的一致性问题 ，有很多人提出很多protocol,其中就有有名的Paxos算法（Latex作者提出，算法需要学习），但是Chubby并不是一个算法或者protocol，它是一项service，是一个lock service,这个service的实...
分类：
其他好文 时间：
2014-07-14 20:52:46
阅读次数：
250
Curator提供了对zookeeper客户端的封装，并监控连接状态和会话session，特别是会话session过期后，curator能够重新连接zookeeper，并且创建一个新的session。对于zk的使用者来说，session的概念至关重要，如果想了解更多session的说明，请访问：ht...
分类：
其他好文 时间：
2014-07-14 19:02:28
阅读次数：
254
选择传智播客九大理由：
1 有实力不怕炫，我们就爱那个是出书出开源项目
2 引领新技术，让我们学员走在别人最前面，首家推出Hadoop，Unity3D，Nginx。
3 课程知识面广，技术讲解深入易懂，让我们学员不仅会做，还能明白其中原理。
4 培养学员自己解决问题的能力，拒绝成为“只会点击控件”的工具使用者。
5 终结“行尸走肉”的生活，带您走上“积极向上，充满理想”的人生道路。
6...
分类：
编程语言 时间：
2014-07-14 17:12:55
阅读次数：
261
