码迷,mamicode.com
首页 >  
搜索关键字:apache hadoop yarn    ( 47386个结果
深入Hadoop的调度器
Hadoop有两个大版本0.20.x,1.x通常为hadoop 1版本,运行环境依赖JobTracker和TaskTracker,运行资源通过作业表示模型MapTask和ReduceTask来组成;运行资源通过槽位Slot来表示。0.23.x,2.x称之为hadoop 2版本,在开发模型上类似1,都...
分类:其他好文   时间:2014-05-18 19:24:17    阅读次数:291
【struts2】核心概念
1)FilterDispatcher Struts2的前端控制器,也是Struts2的MVC中的控制器部分。在实际开发中,只需要在web.xml中配置一次即可,如下所示: Struts2 org.apache.struts2.dispatcher.FilterD...
分类:其他好文   时间:2014-05-18 19:01:16    阅读次数:248
hadoop学习;Streaming,aggregate;combiner
hadoop streaming允许我们使用任何可执行脚本来处理按行组织的数据流,数据取自UNIX的标准输入STDIN,并输出到STDOUT 通过设定mapper为‘RandomSample.py 10’,我们按十分之一的采样率,没有设定特殊的reducer,一般默认使用IdentityReducer(把输入直接转向输出) 通过HDFS的命令getMerge(输出合并)或其他文件操作,可以获得...
分类:其他好文   时间:2014-05-18 15:12:21    阅读次数:380
安装STS报错(三)
安装STS报错 1、具体报错如下 Failure to transfer org.codehaus.plexus:plexus-archiver:jar:1.2 from http://repo.maven.apache.org/maven2 was cached in the local repository, resolution will not be reattempted...
分类:其他好文   时间:2014-05-18 07:41:32    阅读次数:230
eclipse maven 插件的安装和配置
maven3 安装:     安装 Maven 之前要求先确定你的 JDK 已经安装配置完成。Maven是 Apache 下的一个项目,目前最新版本是 3.0.4,我用的也是这个。     首先去官网下载 Maven:http://www.apache.org/dyn/closer.cgi/maven/binaries/apache-maven-3.0.4-bin.tar.gz     下载...
分类:系统相关   时间:2014-05-18 06:56:18    阅读次数:345
Hadoop-2.2.0中文文档—— Common - Native Libraries Guide
概览 这个入门教程描述了native(本地?原生?)hadoop库,包含了一小部分关于native hadoop共享库的讨论。 This guide describes the native hadoop library and includes a small discussion about native shared libraries. 注意: 根据你的环境,词组 "native l...
分类:其他好文   时间:2014-05-18 03:21:01    阅读次数:458
apache的httpd.conf翻译
# This is the main Apache HTTP server configuration file. It contains the这是Apache HTTP Server的主配置文件。它包括了# configuration directives that give the serve...
分类:其他好文   时间:2014-05-18 02:32:54    阅读次数:272
Maven构建Hadoop开发环境
Maven构建Hadoop开发环境
分类:其他好文   时间:2014-05-17 22:48:13    阅读次数:258
阿里云linux服务器安装Apache
发布时间:2013-06-18 编辑:thatboy本文介绍下,在阿里云的linux服务器上,安装apache的简单方法,供大家参考。随着阿里云主机的火热推出,很多的站长朋友,也开始使用阿里云服务器了。php程序,大多还是要跑在linux系统的主机上的。今天,介绍下在阿里云的linux主机上安装a....
分类:系统相关   时间:2014-05-17 18:47:34    阅读次数:418
HDFS基础和java api操作
1. 概括适合一次写入多次查询情况,不支持并发写情况通过hadoop shell 上传的文件存放在DataNode的block中,通过linux shell只能看见block,看不见文件(HDFS将客户端的大文件存放在很多节点的数据块中,Block本质上是一个逻辑概念,它是hdfs读写数据的基本单位...
分类:编程语言   时间:2014-05-17 18:38:16    阅读次数:364
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!