尝试了简单的安装hadoop2后,我们再来尝试一下hdfs的一项新功能:FN。这项技术可以解决namenode容量不足的问题。它采用多个namenode来共享datanode的方式,每个namenode属于不同的namespace。下面是我们的安装信息Hadoop 
版本:2.2.0OS 版本: Ce...
                            
                            
                                分类:
其他好文   时间:
2014-05-17 10:54:41   
                                阅读次数:
518
                             
                         
                    
                        
                            
                            
                                前面介绍过hadoop的简单安装和FA安装,在这里将介绍几种hadoop2中HA(高可用性)安装,HA技术使hadoop不再存在单点namenode的故障。先来第一种:nfs+zookeeperHadoop 
版本:2.2.0OS 版本: Centos6.4Jdk 版本: jdk1.6.0_32环境配...
                            
                            
                                分类:
其他好文   时间:
2014-05-17 03:07:21   
                                阅读次数:
388
                             
                         
                    
                        
                            
                            
                                前面介绍过使用NFS+zookeeper来解决namenode单点失败问题,因为NFS可能也会存在单点问题,所以hadoop提供了一种叫做JournalNode技术,这项技术可以在JournalNode节点间共享数据我们来介绍这一种技术:JournalNode+ 
zookeeperHadoop 版本...
                            
                            
                                分类:
其他好文   时间:
2014-05-17 00:29:07   
                                阅读次数:
331
                             
                         
                    
                        
                            
                            
                                目前hadoop1的稳定版本是1.2.1,我们以版本1.2.1为例详细的介绍hadoop1的安装,此过程包括OS安装与配置,JDK的安装,用户和组的配置,这些过程在hadoop2也有可能用到。Hadoop 
版本:1.2.1OS 版本: Centos6.4Jdk 版本: jdk1.6.0_32环境配置...
                            
                            
                                分类:
其他好文   时间:
2014-05-16 22:21:50   
                                阅读次数:
435
                             
                         
                    
                        
                            
                            
                                hadoop dfsadmin -safemode leave
                            
                            
                                分类:
其他好文   时间:
2014-05-16 22:18:40   
                                阅读次数:
325
                             
                         
                    
                        
                            
                            
                                目前Hadoop的稳定版本为1.2.1,我们的实验就在hadoop-1.2.1上进行Hadoop 版本:1.2.1OS 版本: 
Centos6.4环境配置机器名Ip地址功能用户Hadoop1192.168.124.135namenode, 
datanode,secondNameNodejobtrac...
                            
                            
                                分类:
其他好文   时间:
2014-05-13 19:29:35   
                                阅读次数:
3175
                             
                         
                    
                        
                            
                            
                                尽管前面尝试了hadoop的simple认证方式,这种方法不是特别安全,在介绍一下hadoop的kerberos方式之前,下面我们尝试一下kerberos。首先介绍一下Kerboros安装OS 
版本: Centos6.4Kerberos版本: krb5-1.10.3环境配置机器名Ip地址功能安装模块...
                            
                            
                                分类:
其他好文   时间:
2014-05-13 19:23:25   
                                阅读次数:
1311
                             
                         
                    
                        
                            
                            
                                ---恢复内容开始---前面花了很多时间来介绍hadoop1的安装,随着hadoop的发展,hadoop2的应用也越来越普及,hadoop2解决了hadoop1中的很多问题,比如单点故障,namenode容量小的问题。我们先来安装最简单的版本Hadoop 
版本:2.2.0OS 版本: Centos6...
                            
                            
                                分类:
其他好文   时间:
2014-05-13 16:45:30   
                                阅读次数:
333
                             
                         
                    
                        
                            
                            
                                最近将ubuntu升级到了14.04,出现了vmware无法启动的情况。具体表现为:每次启动的时候都会弹出一个VMWare Kernel Module Updater的对话框,要求根据当前内核版本重新编译一些内核模块,但是其中网络模块vmnet总是编译失败。
查找相关资料发现原因在于升级到ubuntu 14.04之后现在的Linux内核版本是3.13,这个内核版本修改了一些底层函数,而V...
                            
                            
                                分类:
Web程序   时间:
2014-05-13 14:48:31   
                                阅读次数:
281