基础配置:Hadoop 2.2.0，Hbase
0.96。四台集群机器，一台master，三台slave。三台slave上分别装gmond；namenode机器上设置datasource。客户端：安装wget：sudo
yum -y install wget安装epel库： a) 下载epel r....
分类：
其他好文 时间：
2014-07-22 23:08:34
阅读次数：
573
------本文大纲简介DRBD资源属性原理安装DRDBDRDB实现高可用============一、简介DRBD是一种块设备，可以被用于高可用(HA)之中。它类似于一个网络RAID-1功能。当你将数据写入本地文件系统时，数据还将会被发送到网络中另一台主机上。以相同的形式记录在一个文件系统中。本地(主..
分类：
数据库 时间：
2014-05-03 02:13:25
阅读次数：
989
Lease 的机制：hdfs支持write-once-read-many，也就是说不支持并行写，那么对读写的互斥同步就是靠Lease实现的。Lease说白了就是一个有时间约束的锁。客户端写文件时需要先申请一个Lease，对应到namenode中的LeaseManager，客户端的client name就作为一个lease的holder，即租约持有者。LeaseManager起什么作用呢？
读写过程的容错是怎么做的？数据块是如何复制的？数据块的恢复机制？本文都有涉及。...
分类：
其他好文 时间：
2014-05-02 23:22:14
阅读次数：
450
Hadoop从2.3.0版本开始支持HDFS缓存机制，HDFS允许用户将一部分目录或文件缓存在HDFS当中，NameNode会通知拥有对应块的DataNodes将其缓存在DataNode的内存当中
集中式缓存管理有着许多显著的优势：
防止那些被频繁使用的数据从内存中清除因为DataNode的缓存由NameNode来管理，applications在做任务安排时可以查询这个缓存的列表，...
分类：
其他好文 时间：
2014-05-01 17:45:58
阅读次数：
379
一、耗时长的任务：消耗时间长的任务，以睡眠两秒为例。二、耗时短的任务：消耗时间短的任务，以分配耗时长的任务到指定进程为例。三、任务分配进程：异步进程。将收到的长耗时任务
以对同一用户的多次操作要排队的原则 分配到任务进程。补充：1. hash：key + value，以key取值的圆环式增长实现ha...
分类：
其他好文 时间：
2014-05-01 11:04:32
阅读次数：
364
在上班时，一位同事找我要Git的安装包。于是打开我的软件盘（E盘）寻找，结果：除开当前正在使用的文件以及一个删不掉的文件夹外，全部都不见了。整整一个盘，好几十G的文件说不见就不见了？这太奇怪了！自己想通过查看删除日志，看是否是某个特殊程序删掉的，又向各位同事请教。病毒？文件结构被破坏？文件能否恢复？心惊胆战。最终，通过文件恢复工具 HA_EasyRecoveryPro 工具找回了我 30 多G的文件，太惊喜了！...
分类：
其他好文 时间：
2014-04-30 22:45:39
阅读次数：
284
There are unit several makers United hogan
interactive uomo Nations agency cope with the planning of golf shoes insoles to
confirm that the golfers ha...
分类：
其他好文 时间：
2014-04-29 17:13:47
阅读次数：
341
1 HDFS服务中，默认端口集合：
1. HDFS 端口
Service
Servers
Default Ports Used
Protocol
Description
Need End User Access?
Configuration Parameters
NameNode WebUI
Master Nodes (NameNo...
分类：
其他好文 时间：
2014-04-29 13:24:21
阅读次数：
492
Hadoop从2.4.0版本开始支持hdfs的ACL，在CDH5.0当中也继承了该特性，下面对其进行一些测试：
一、启用ACL：
dfs.permissions.enabled
true
dfs.namenode.acls.enabled
true
二、测试ACL：
①
[hadoop@master ~]$ groups
hadoop
创建目录并上传文件：
[...
分类：
其他好文 时间：
2014-04-27 21:18:00
阅读次数：
306
