Hadoop有两个大版本0.20.x,1.x通常为hadoop
1版本,运行环境依赖JobTracker和TaskTracker,运行资源通过作业表示模型MapTask和ReduceTask来组成;运行资源通过槽位Slot来表示。0.23.x,2.x称之为hadoop
2版本,在开发模型上类似1,都...
分类:
其他好文 时间:
2014-05-18 19:24:17
阅读次数:
291
1)FilterDispatcher
Struts2的前端控制器,也是Struts2的MVC中的控制器部分。在实际开发中,只需要在web.xml中配置一次即可,如下所示: Struts2
org.apache.struts2.dispatcher.FilterD...
分类:
其他好文 时间:
2014-05-18 19:01:16
阅读次数:
248
hadoop streaming允许我们使用任何可执行脚本来处理按行组织的数据流,数据取自UNIX的标准输入STDIN,并输出到STDOUT
通过设定mapper为‘RandomSample.py 10’,我们按十分之一的采样率,没有设定特殊的reducer,一般默认使用IdentityReducer(把输入直接转向输出)
通过HDFS的命令getMerge(输出合并)或其他文件操作,可以获得...
分类:
其他好文 时间:
2014-05-18 15:12:21
阅读次数:
380
安装STS报错
1、具体报错如下
Failure to transfer org.codehaus.plexus:plexus-archiver:jar:1.2 from http://repo.maven.apache.org/maven2 was cached in the local repository, resolution will not be reattempted...
分类:
其他好文 时间:
2014-05-18 07:41:32
阅读次数:
230
maven3 安装:
安装 Maven 之前要求先确定你的 JDK 已经安装配置完成。Maven是 Apache 下的一个项目,目前最新版本是 3.0.4,我用的也是这个。
首先去官网下载 Maven:http://www.apache.org/dyn/closer.cgi/maven/binaries/apache-maven-3.0.4-bin.tar.gz
下载...
分类:
系统相关 时间:
2014-05-18 06:56:18
阅读次数:
345
概览
这个入门教程描述了native(本地?原生?)hadoop库,包含了一小部分关于native hadoop共享库的讨论。
This guide describes the native hadoop library and includes a small discussion about native shared libraries.
注意: 根据你的环境,词组 "native l...
分类:
其他好文 时间:
2014-05-18 03:21:01
阅读次数:
458
# This is the main Apache HTTP server configuration
file. It contains the这是Apache HTTP Server的主配置文件。它包括了# configuration directives
that give the serve...
分类:
其他好文 时间:
2014-05-18 02:32:54
阅读次数:
272
发布时间:2013-06-18
编辑:thatboy本文介绍下,在阿里云的linux服务器上,安装apache的简单方法,供大家参考。随着阿里云主机的火热推出,很多的站长朋友,也开始使用阿里云服务器了。php程序,大多还是要跑在linux系统的主机上的。今天,介绍下在阿里云的linux主机上安装a....
分类:
系统相关 时间:
2014-05-17 18:47:34
阅读次数:
418
1. 概括适合一次写入多次查询情况,不支持并发写情况通过hadoop shell
上传的文件存放在DataNode的block中,通过linux
shell只能看见block,看不见文件(HDFS将客户端的大文件存放在很多节点的数据块中,Block本质上是一个逻辑概念,它是hdfs读写数据的基本单位...
分类:
编程语言 时间:
2014-05-17 18:38:16
阅读次数:
364