1、为什么需要Hadoop
目前，一块硬盘容量约为1TB，读取速度约为100M/S，因此完成一块硬盘的读取需时约2.5小时（写入时间更长）。若把数据放在同一硬盘上，且全部数据均需要同一个程序进行处理，此程序的处理时间将主要浪费在I/O时间上。
在过去几十年，硬盘的读取速度并未明显增长，而网络传输速度此飞速上升。
因此，若把数据分散到多个硬盘上进行存储（如分成100份存...
分类：
其他好文 时间：
2014-08-17 19:59:32
阅读次数：
394
本文简要描述了均衡化原理及数学实现等理论问题，最终利用emgucv实现图像的灰度均衡。
分类：
其他好文 时间：
2014-08-17 18:19:42
阅读次数：
734
HDFS Architecture
Introduction
HDFS是分布式文件系统，它被设计为运行在普通商用硬件之上。它与已经存在的文件系统有很多相似性。但是，也有巨大的不同。HDFS有很高的容错，被设计为部署在低廉的硬件上。HDFS提供为应用程序的数据提供一个高通量的访问，适合有大量数据的应用程序。HDFS放松了一些POSIX的需求，以使可以用流的方式访问文件系统的数据。HDFS最初作为...
分类：
其他好文 时间：
2014-08-17 17:02:32
阅读次数：
249
本文主要对彩色图片灰度化的方法及其实现过程进行总结，最终给出Emgu CV实现的代码。
分类：
其他好文 时间：
2014-08-17 16:55:32
阅读次数：
400
我的测试环境是三台机器分别是Hadoop-Yarn.Hark.Com 192.168.1.200Hadoop-Slave1.Hark.Com 192.168.1.201Hadoop.Slave2.Hark.Com 192.168.1.202我为了自己能充分练习hadoop 64位源码编译，所以三台机...
分类：
其他好文 时间：
2014-08-17 15:29:52
阅读次数：
236
Hostname
IP
Hadoop版本
Hadoop
功能
系统
hadoop2
192.168.119.131
2.2.0
namenode
jdk1.6+hadoop
centos5.9
h2slave1
192.168.119...
分类：
其他好文 时间：
2014-08-17 14:21:32
阅读次数：
257
Hbase的安装需要考虑Hadoop的版本，即兼容性。有不足的希望能指出。以下考究官网得到的，关于hadoop版本和hbase版本可到以下网址中下载：http://mirror.bit.edu.cn/apache/hbaseHBase-0.92.xHBase-0.94.xHBase-0.96.xHB...
分类：
其他好文 时间：
2014-08-17 14:13:02
阅读次数：
150
一、前置条件
1、操作系统准备
（1）Linux可以用作开发平台及产品平台。
（2）win32只可用作开发平台，且需要cygwin的支持。
2、安装jdk 1.6或以上
3、安装ssh，并配置免密码登录。（root用户）
$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/auth...
分类：
其他好文 时间：
2014-08-17 11:48:42
阅读次数：
214
有如图所示的输入文件。其中第一列代表ip地址，之后的偶数列代表搜索词，数字(奇数列)代表搜索次数，使用"\t"分隔。现在需要对搜索词进行分词并统计词频，此处不考虑搜索次数，可能是翻页，亦不考虑搜索链接的行为。...
分类：
其他好文 时间：
2014-08-17 11:47:02
阅读次数：
306
// PS_Algorithm.h
#ifndef PS_ALGORITHM_H_INCLUDED
#define PS_ALGORITHM_H_INCLUDED
#include
#include
#include "cv.h"
#include "highgui.h"
#include "cxmat.hpp"
#include "cxcore.hpp"
u...
分类：
其他好文 时间：
2014-08-17 10:28:22
阅读次数：
205
