突然接到老总需求，需要在现有机房的服务器上边部署KVM，让内网测试机到达外网去测试。说实话有些头疼，因为我们的硬件资源实在是太缺了（小公司...），只有100G的剩余空间，让我在上边跑俩台虚拟机，还得应付时刻增涨的数据，这无疑让我很无语...hadoop可是在这台服务器的.....
分类：
其他好文 时间：
2014-07-26 03:13:27
阅读次数：
188
Ganglia监控软件主要是用来监控系统性能的软件，如：cpu 、mem、硬盘利用率， I/O负载、网络流量情况等，通过曲线很容易见到每个节点的工作状态，对合理调整、分配系统资源，提高系统整体性能起到重要作用。
本言讲解如何利用ganglia监控hbase指标，过滤无用的指标，并实现单独管理 hadoop metrics system 的功能，修改指标配置不用重启hbase。...
分类：
其他好文 时间：
2014-07-26 02:41:16
阅读次数：
385
把程序打成jar包放到Linux上
转到目录下执行命令 hadoop jar mapreducer.jar /home/clq/export/java/count.jar hdfs://ubuntu:9000/out06/count/
上面一个是本地文件，一个是上传hdfs位置
成功后出现：打印出来，你所要打印的字符。
package com.clq.hdfs;
import java...
分类：
编程语言 时间：
2014-07-26 02:27:17
阅读次数：
270
Hadoop学习笔记(3) ——分布式环境搭建 前面，我们已经在单机上把Hadoop运行起来了，但我们知道Hadoop支持分布式的，而它的优点就是在分布上突出的，所以我们得搭个环境模拟一下。 在这里，我们采用这样的策略来模拟环境，我们使用3台ubuntu机器，1台为作主机(master)，另外2台....
分类：
其他好文 时间：
2014-07-26 01:48:06
阅读次数：
233
公司一个数据抓取的程序，数据量极大，读取数据的用IDataReader的Read方法来进行数据处理，在测试的时候我想跑一部分数据后跳出循环，即break; 然后关闭datareader,但是在执行datareader.close()方法的时候出现了“超时异常”的错误， 查看了一下MSDN对Close...
分类：
其他好文 时间：
2014-07-26 00:17:36
阅读次数：
232
1、主要是设置Reduce端输出的value类型直接上代码吧：注释就免了吧，大家应该很熟悉了。package hbase;import java.io.IOException;import java.util.StringTokenizer;import org.apache.hadoop.conf...
分类：
其他好文 时间：
2014-07-25 19:04:02
阅读次数：
271
前言从2011年开始，中国进入大数据风起云涌的时代，以Hadoop为代表的家族软件，占据了大数据处理的广阔地盘。开源界及厂商，所有数据软件，无一不向Hadoop靠拢。Hadoop也从小众的高富帅领域，变成了大数据开发的标准。在Hadoop原有技术基础之上，出现了Hadoop家族产品，通过“大数据”概...
分类：
其他好文 时间：
2014-07-25 14:13:02
阅读次数：
446
在刚刚过去的2014年财年，NetApp全球业务继续保持了快速增长的态势，整个财年收入达63亿美元。据NetApp全球副总裁、大中华区总裁陈文俊介绍，NetApp继续巩固了在优势领域的领先地位，在存储操作系统、支持公有云的存储和融合基础架构方面保持市场份额第一。NetApp之所以能够取..
分类：
移动开发 时间：
2014-07-25 11:34:22
阅读次数：
316
人们只有在经历了数据丢失的惨痛教训后，才会感到数据备份的重要性和必要性。云计算也一样，只有到了一个时间临界点，用户的需求才会被真正激发出来，云应用才会得到快速普及。在今年的台北电脑展上，记者见到了老朋友——存储厂商PROMISE公司首席执行官李志恩。在交谈中，李志..
分类：
其他好文 时间：
2014-07-25 11:32:21
阅读次数：
219
