码迷,mamicode.com
首页 >  
搜索关键字:hadoop-yarn    ( 201个结果
Hadoop2.6.0的事件分类与实现
说实在的,在阅读Hadoop YARN的源码之前,我对于java枚举的使用相形见绌。YARN中实现的事件在可读性、可维护性、可扩展性方面的工作都值得借鉴。...
分类:其他好文   时间:2016-04-26 12:42:38    阅读次数:209
YARN
http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ http://www.ibm.com/developerworks/cn/data/library/bd-yarn-intro/index.html ...
分类:其他好文   时间:2016-04-17 00:26:19    阅读次数:125
大数据实时处理-基于Spark的大数据实时处理及应用技术培训
随着互联网、移动互联网和物联网的发展,我们已经切实地迎来了一个大数据 的时代。大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合,对大数据的分析已经成为一个非常重要且紧迫的需求。目前对大数据的分析工具,首选的是Hadoop/Yarn平台,但目前对大数据的实时分析工具,业界 ...
分类:其他好文   时间:2016-04-11 22:08:26    阅读次数:263
在使用windows调用Hadoop 错误 /bin/bash: line 0: fg: no job control一般解决方法
在使用windows调用Hadoop yarn平台的时候,一般都会遇到如下的错误: 这个错误在Hadoop mapreduce bug的信息页面(https://issues.apache.org/jira/browse/MAPREDUCE-5655)已经解决了,且影响的版本是Hadoop2.2、H ...
分类:Windows程序   时间:2016-04-07 18:31:23    阅读次数:526
ResourceManager High Availability
Apache 官方原文地址:http://hadoop.apache.org/docs/r2.5.2/hadoop-yarn/hadoop-yarn-site/ResourceManagerHA.html 一 简介二 架构 1 RM 切换 11 手工故障切换22 自动故障切换23 在 RM 故障切换中的客户端ApplicationMaster 和 NodeManage...
分类:其他好文   时间:2016-03-26 07:36:06    阅读次数:281
hadoop2安装脚本
#!/bin/bash##InstallHadoop2usingpdsh/pdcpwherepossible.##Commandcanbeinteractiveorfile-based.Thisscriptsetsup#aHadoop2clusterwithbasicconfiguration.Modifydata,log,andpid#directoriesasdesired.Furtherconfigureyourclusterwith./conf-hadoop2.sh###Basicenvironmen..
分类:其他好文   时间:2016-03-23 06:36:28    阅读次数:152
hadoop2.x配置
hadoop2.x在系统架构上与hadoop1.x有很大的变化 原文地址: http://www.ibm.com/developerworks/cn/opensource/os-cn-hadoop-yarn/ 基本安装请参考: http://www.cnblogs.com/liuxinan/p/52
分类:其他好文   时间:2016-03-21 18:18:07    阅读次数:203
YARN环境中应用程序JAR包冲突问题的分析及解决
Hadoop框架自身集成了很多第三方的JAR包库。Hadoop框架自身启动或者在运行用户的MapReduce等应用程序时,会优先查找Hadoop预置的JAR包。这样的话,当用户的应用程序使用的第三方库已经存在于Hadoop框架的预置目录,但是两者的版本不同时,Hadoop会优先为应用程序加载Hadoop自身..
分类:编程语言   时间:2016-03-02 20:21:37    阅读次数:2351
Java Secret: Using an enum to build a State machine(Java秘术:用枚举构建一个状态机)
近期在读Hadoop#Yarn部分的源代码。读到状态机那一部分的时候,感到enmu的使用方法实在是太灵活了,在给并发编程网翻译一篇文章的时候,正好碰到一篇这种文章。就赶紧翻译下来,涨涨姿势。 原文链接:http://www.javacodegeeks.com/2011/07/java-secret-
分类:编程语言   时间:2016-02-20 13:16:32    阅读次数:203
拉开大变革序幕(下):分布式计算框架与大数据
不可变基础设施如何更好地使用容器技术实现不可变基础设施TachyonTachyon简介南京大学PASA大数据实验室SPARK/TACHYON:基于内存的分布式存储系统Spark on Yarn 搭建spark on yarn集群全过程 —— 可与 3 形成参考 Spark on Yarn Spark On YARN 集群安装部署 —— 推荐 1) 配置Hadoop Yarn集群时出现的问题及修复:在...
分类:其他好文   时间:2016-01-20 13:23:01    阅读次数:180
201条   上一页 1 ... 10 11 12 13 14 ... 21 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!