Client 端：
//最终通过ApplicationClientProtocol协议提交到RM端的ClientRMService内
package org.apache.hadoop.mapred;
jobclient包内
YarnRunner
public JobStatus submitJob(JobID jobId, String jobSubmitDir, Credentials...
分类：
其他好文 时间：
2014-09-09 12:48:58
阅读次数：
245
NM端
//NM发送心跳，增加一个NODE_UPDATE事件，简单返回一个respone,异步驱动型，事件再驱动assignContainers,从资源请求结构里取出需求分配资源
//AsyncDispatcher原理
//一个event队列，一个eventtype.class 到处理器对应关系（仅仅是一个class对应一个处理器，class是个Enum可能会有很多种值，具体逻辑在处理器内部)...
分类：
其他好文 时间：
2014-09-09 12:31:58
阅读次数：
307
AppMaster向RM请求资源
//APPMASTER向RM发送心跳，更新资源请求结构，从分配好的内存结构取出分配的资源,具体任务分配是后台异步的由NM发送心跳驱动
MRAppMaster
:serviceinit
// service to allocate containers from RM (if non-uber) or to fake it (uber)
conta...
分类：
其他好文 时间：
2014-09-09 12:31:48
阅读次数：
244
今天新建了一个项目传到git上，但是每次编译都会有一些无用的文件生成，于是就编写了ignore.但是发现无用。因为你的文件已经上传到服务器了，再编写ignore就无用了，ignore的适用是文件没上传服务器之前，可以被忽略，遇到这种情况怎么解决呢？ 适用git的命令 $ git rm --c...
分类：
其他好文 时间：
2014-09-09 11:44:48
阅读次数：
197
1、作用： 删除一个目录中的一个或多个文件或目录；2、格式： rm [选项] 文件或目录3、常见参数： 4、使用实例： [root@www hello]# rm –r -i ./why5、使用说明： (1)如果没有使用- r 选项，则 rm 不会删除目录； (2)使用该命令时一旦文件被...
分类：
系统相关 时间：
2014-09-05 15:40:31
阅读次数：
191
“决胜云计算大数据时代”Spark亚太研究院100期公益大讲堂 【第10期互动问答分享】Q1：Spark on Yarn的运行方式是什么？Spark on Yarn的运行方式有两种：Client和Cluster模 Client模式如下所示： ...
分类：
其他好文 时间：
2014-09-05 14:15:31
阅读次数：
177
mkdir 目录名 => 创建一个目录rmdir 空目录名 => 删除一个空目录rm 文件名 文件名 => 删除一个文件或多个文件rm –rf 非空目录名 => 删除一个非空目录下的一切touch 文件名 => 创建一个空文件重命名文件（夹） / 移动文件（夹）到指定文件夹执行格式： mv sour...
分类：
其他好文 时间：
2014-09-05 12:47:41
阅读次数：
234
开发过程中碰到一个关于mysql 全文检索的问题，控制台打印的SQL语句拿到数据库里执行，结果不对。后来发现原来是少了双引号。下面是网上找到的资料，我是看到这个才意识到自己的问题。这是之前在数据库执行的SQL语句，检索结果上万条。SELECT DISTINCT c.Rm_Code, c....
分类：
数据库 时间：
2014-09-05 12:40:21
阅读次数：
223
系统升级app进入的时候发生crash。从log中看是app没有访问sdcard目录的权限。 修改方法： 在init.qcom.rc里修改storage的权限为0775： mkdir /storage 0775 system sdcard_r 这样第三方app就有权限访问这个目录，...
分类：
其他好文 时间：
2014-09-05 11:31:51
阅读次数：
351
spark on yarn提交任务时一直显示ACCEPTED，过一个小时后就会出现任务失败，但在提交时shell终端显示的日志并没有报错，logs文件夹中也没有日志产生。注：spark?on?yarn是不需要启动spark集群的，只需要在提交任...
分类：
其他好文 时间：
2014-09-04 19:36:00
阅读次数：
562
