Ganglia 项目是由加州大学发起的,现在已经成为一个应用非常广泛集群监控软件。可以监视和显示集群中的节点的各种状态信息,比如如:cpu 、mem、硬盘利用率, I/O负载、网络流量情况等,同时可以将历史数据以曲线方式通过php页面呈现。同时具有很好的扩展性,允许用户加入自己所要监控的状态信息。 ...
分类:
其他好文 时间:
2014-07-10 12:52:05
阅读次数:
339
我是用的maven,至少要移出如下的jar包:org.apache.hadoophadoop-core1.0.4jackson-mapper-aslorg.codehaus.jacksonjsp-api-2.1org.mortbay.jettyjsp-2.1org.mortbay.jettyjasp...
分类:
Web程序 时间:
2014-07-10 00:19:29
阅读次数:
267
InputFormat主要用于描述输入数据的格式(我们只分析新API,即org.apache.hadoop.mapreduce.lib.input.InputFormat),提供以下两个功能: (1)数据切分:按照某个策略将输入数据切分成若干个split,以便确定MapTask个数以及对应的s...
分类:
其他好文 时间:
2014-07-09 23:49:37
阅读次数:
487
7月2号晚20:30-22:30 东大博士Dasight分享主题《大数据与Hadoop漫谈》
7月5号晚20:30-22:30 原支付宝MySQL首席DBA分享主题《MySQL发展趋势,MySQL各个分支介绍》、《MySQL 5.6版本特性介绍及如何从MySQL 5.5向MySQL
5.6》
7月10号晚20:30-22:30 东大博士Dasight分享主题《Hadoop与Nosql技术的适用性分析》
7月12号晚20:30-22:30 原支付宝MySQL首席DBA分享主题《1000+MySQ...
分类:
数据库 时间:
2014-06-30 08:40:53
阅读次数:
315
使用sqoop-1.4.4.bin__hadoop-2.0.4-alpha将Oracle11g数据导入HBase0.96...
分类:
数据库 时间:
2014-06-30 08:21:16
阅读次数:
356
今天来说说编译hadoop源码的事情吧~
1、首先下载源码
地址:http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.4.0/
2、加压tar包到指定文件夹:/home/hadoop/soft/hadoop
tar zxvf hadoop-2.4.0-src.tar.gz
3、Linux编译环境准备
java环境...
分类:
系统相关 时间:
2014-06-30 06:18:12
阅读次数:
379
前几天无意中翻看之前下载的各种资料,发现了一款AppWeight应用,...
分类:
移动开发 时间:
2014-06-30 00:43:33
阅读次数:
486
如何在SharePoint管理中心检查数据库架构版本、修补级别和修补程序的常规监控...
分类:
数据库 时间:
2014-06-30 00:12:38
阅读次数:
429
前言
在做需求时,经常遇到多个目录,也就是多个维度进行join,这里分析一下,数据是怎么流动的。
1、多目录输入
使用MultipleInputs.addInputPath() 对多目录制定格式和map
2、数据流分析
map按行读入数据,需要对不同的输入目录,打上不同的标记(这个方法又叫reduce端连接),map在输出后会进行partition和sort,按照key进行排序,然后输...
分类:
其他好文 时间:
2014-06-29 23:09:07
阅读次数:
348
一. 介绍 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的.....
分类:
其他好文 时间:
2014-06-29 19:20:17
阅读次数:
252