HDFS小文件问题及解决方案:http://dongxicheng.org/mapreduce/hdfs-small-files-solution/Hadoop升级方案(一):Hadoop
1.0内部版本升级(初稿):http://dongxicheng.org/mapreduce-nextgen/...
分类:
其他好文 时间:
2014-05-10 02:08:24
阅读次数:
327
单词计数是最简单也是最能体现MapReduce思想的程序之一,可以称为MapReduce版"Hello
World",该程序的完整代码可以在Hadoop安装包的"src/examples"目录下找到。单词计数主要完成功能是:统计一系列文本文件中每个单词出现的次数,如下图所示。现在我们以"hadoop...
分类:
其他好文 时间:
2014-05-10 01:54:48
阅读次数:
445
date: 20140505author: Jin故障背景:早上启动本本
无法启动,报错信息(几个关键)WARNING:Failed to connect to lvmetad: No such file
direct[FAILED]Failed to mount /var/run/user/100...
分类:
其他好文 时间:
2014-05-09 16:47:25
阅读次数:
479
一、Keepalived简介Keepalived的作用是检测web服务器的状态,如果有一台web服务器死机,或工作出现故障,Keepalived将检测到,并将有故障的web服务器从系统中剔除,当web服务器工作正常后Keepalived自动将web服务器加入到服务器群中,这些工作全部自动完成,不需要人工干涉,需..
分类:
其他好文 时间:
2014-05-05 12:13:18
阅读次数:
487
What is the Linux High Availabi 简介:
高可用性群集的出现是为了使群集的整体服务尽可能可用,以便考虑计算硬件和软件的易错性。如果高可用性群集中的主节点发生了故障,那么这段时间内将由次节
点代替它。次节点通常是主节点的镜像,所以当它代替主节点时,它可以完全接管...
分类:
系统相关 时间:
2014-05-05 12:05:05
阅读次数:
609
1.核心 HDFS 分布式文件系统 主从结构,一个namenoe和多个datanode,
分别对应独立的物理机器
1)NameNode是主服务器,管理文件系统的命名空间和客户端对文件的访问操作。NameNode执行文件系统的命名空间操作,比如打开关闭重命名文件或者目录等,它也负责...
分类:
其他好文 时间:
2014-05-05 10:35:14
阅读次数:
432
转自:http://blog.csdn.net/bluesky8640/article/details/6945776之前装python、jdk、hadoop都是用的root账户,这是一个绝对的失策,linux对用户访问权限很严格,新创的hod账户根本无法启动hadoop,而root在hod模式下使...
分类:
系统相关 时间:
2014-05-05 10:09:20
阅读次数:
753
1引言1.1编写目的1.2背景1.3定义1.4参考资料2任务概述2.1目标2.2用户的特点2.3假定和约束3需求规定3.1对功能的规定3.2对性能的规定3.2.1精度3.2.2时间特性要求3.2.3灵活性3.3输人输出要求3.4数据管理能力要求3.5故障处理要求3.6其他专门要求4运行环境规定4.1...
分类:
其他好文 时间:
2014-05-05 09:54:19
阅读次数:
446
目标:主机做了Mirror和Replication,当主机出现问题时,Replication和Mirror实现自动的故障转移(Mirror和Replication都切换到备机,而当主机重新启动后,自动充当备机的角色)。环境:五台虚拟机,配置均为Windows2008Enterprise
+ SQLS...
分类:
数据库 时间:
2014-05-04 19:07:28
阅读次数:
560
一、概述:HAProxy是一个用于4层或7层的高性能负载均衡软件,在大型网站的大型Web服务器群集中,HAProxy可用来替代专业的硬件负载均衡设备,节省大量的开支。通常情况下,为了避免整个体系中出现单点故障,在至关重要的架构中,都需要部署备份设备,同样,负载均衡设备也不能部..
分类:
其他好文 时间:
2014-05-04 17:11:34
阅读次数:
495