从《Hadoop权威指南》选取了一个小案例,在Hadoop集群环境中运行。1、新建JAVA类,保存书中源代码。[huser@master bin]$ vi
URLCat.javaimport java.io.InputStream;import java.net.URL;import org.apa...
分类:
其他好文 时间:
2014-05-14 03:52:36
阅读次数:
457
控制系统的性能可以用稳、准、快三个字
来描述。稳是指系统的稳定性(stability),一个系统要能正常工作,首先必须是稳定的,从阶跃响应上看应该是收敛的;准是指控制系统的准确性、控制精度,通常用静态误差来(Steady-state
error)描述,它表示系统输出稳态值与期望值之差;快是指控制.....
分类:
其他好文 时间:
2014-05-12 22:32:02
阅读次数:
463
本文记录Ant编译MapReduce程序的过程。程序使用《Hadoop MapReduce
Cookbook》中的示例代码。1、安装AntAnt项目主页:http://ant.apache.org/下载二进制安装包,例如apache-ant-1.9.4-bin.tar.gz,上传到Hadoop集群环...
分类:
其他好文 时间:
2014-05-12 20:44:36
阅读次数:
398
import java.io.IOException;import
org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.Path;import
org.apache.hadoop.io.IntWritable;import...
分类:
其他好文 时间:
2014-05-12 19:55:27
阅读次数:
326
Web应用代理是YARN的一部分. 默认地,它会作为 Resource Manager(RM)的一部分来运行, 但是也可以配置成独立运行的模式。使用代理的原因就是降低通过YARN的web攻击的可能性。
在YARN中,Application Master(AM) 有责任提供web界面并把链接发给RM。这给一些可能的问题打开了大门。 RM 作为一个可信的用户在运行,访问那个web地址的用户会认...
分类:
Web程序 时间:
2014-05-11 20:27:52
阅读次数:
323
Hadoop集群(第9期)_MapReduce初级案例1、数据去重
"数据去重"主要是为了掌握和利用并行化思想来对数据进行有意义的筛选。统计大数据集上的数据种类个数、从网站日志中计算访问地等这些看似庞杂的任务都会涉及数据去重。下面就进入这个实例的MapReduce程序设计。1.1
实例描述 对数.....
分类:
其他好文 时间:
2014-05-11 16:02:24
阅读次数:
538
目的
此文档描述了 FairScheduler,
Hadoop 的一个可插入式的调度器,允许 YARN 应用在一个大集群中公平地共享资源。
简介
公平调度是一种分配资源给应用的方法,以致到最后,平均上所有应用获得相等的资源。 Hadoop NextGen 能够调度多种类型的资源。默认的, Fair Scheduler 仅以内存为基础作公平调度决策。可以用Ghodsi 等开发的 ...
分类:
其他好文 时间:
2014-05-11 13:05:57
阅读次数:
393
转载请注明出处:http://blog.csdn.net/u012860063?viewmode=contents
题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=4287
Problem Description
Haoren is very good at solving mathematic problems. Today...
分类:
其他好文 时间:
2014-05-11 12:57:48
阅读次数:
356
题目链接:http://acm.nyist.net/JudgeOnline/problem.php?pid=16
矩形嵌套
时间限制:3000 ms | 内存限制:65535 KB
难度:4
描述有n个矩形,每个矩形可以用a,b来描述,表示长和宽。矩形X(a,b)可以嵌套在矩形Y(c,d)中当且仅当a<c,b<d或者b<c,a<d(相当于旋转X90度)。...
分类:
其他好文 时间:
2014-05-11 02:31:48
阅读次数:
333
题目链接:http://acm.hdu.edu.cn/showproblem.php?pid=2553...
分类:
其他好文 时间:
2014-05-11 02:04:23
阅读次数:
296