Hadoop有两个大版本0.20.x,1.x通常为hadoop
1版本,运行环境依赖JobTracker和TaskTracker,运行资源通过作业表示模型MapTask和ReduceTask来组成;运行资源通过槽位Slot来表示。0.23.x,2.x称之为hadoop
2版本,在开发模型上类似1,都...
分类:
其他好文 时间:
2014-05-18 19:24:17
阅读次数:
291
hadoop streaming允许我们使用任何可执行脚本来处理按行组织的数据流,数据取自UNIX的标准输入STDIN,并输出到STDOUT
通过设定mapper为‘RandomSample.py 10’,我们按十分之一的采样率,没有设定特殊的reducer,一般默认使用IdentityReducer(把输入直接转向输出)
通过HDFS的命令getMerge(输出合并)或其他文件操作,可以获得...
分类:
其他好文 时间:
2014-05-18 15:12:21
阅读次数:
380
通常在redis机器数量多的时候,需要对redis的机器进行状态监控,可以采用Linux 的nc 来对多个shard进行状态查询和监测...
分类:
其他好文 时间:
2014-05-18 05:51:38
阅读次数:
247
本篇介绍为了保证Hadoop集群平稳地运行,需要深入掌握的知识,以及一些管理监控的手段,日常维护的工作。...
分类:
其他好文 时间:
2014-05-18 05:32:10
阅读次数:
546
概览
这个入门教程描述了native(本地?原生?)hadoop库,包含了一小部分关于native hadoop共享库的讨论。
This guide describes the native hadoop library and includes a small discussion about native shared libraries.
注意: 根据你的环境,词组 "native l...
分类:
其他好文 时间:
2014-05-18 03:21:01
阅读次数:
458
public class MonitorTools { /// ///
获取具体进程的内存,线程等参数情况 /// /// public static void getWorkingSet(string proces...
分类:
其他好文 时间:
2014-05-18 01:01:34
阅读次数:
498
Tomcat 6.0的目录结构2013-05-17
20:0578人阅读评论(0)收藏举报bin:存放启动与监控Tomcat的命令文件,其中tomcat6.exe用于启动Tomcat服务器,tomcat6w.exe用于监控与设置Tomcat服务器的启动配置参数。lib:在lib目录中存放Tomcat...
分类:
其他好文 时间:
2014-05-18 00:52:14
阅读次数:
269
1.为何要有unsafe
也许是为了实现CLR类型安全的目标吧,默认情况下,C#没有提供指针的使用算法,但是有些情况下也可能需要指针这样直接访问内存的东西(虽然目前我还没有用过),但是有时候程序员非常清楚程序的运行状况,需要使用指针直接访问内存以便于提高性能或者调试、监控程序运行的内存的使用状况,以...
分类:
其他好文 时间:
2014-05-17 23:47:46
阅读次数:
448