场景： 预发环境中，同事已经搭建了一套hadoop集群，由于版本与所需不符，所以需要替换版本 问题描述： 在配置文件都准确的情况下，启动hadoop,出现以下报错： 启动之前初始化： 初始化目录跟配置文件目录不一致 hdfs namenode -format [root@hdoop2 hadoop- ...
分类：
编程语言 时间：
2018-11-30 15:47:23
阅读次数：
349
当我们在hdfs上操作文件的时候，有时候会报错 ，出现namenode in safemode namenode处于安全模式的原因： 1、NameNode发现集群中DataNode丢失达到一定比例（0.01%）时会进入安全模式，此时只允许查看数据不允许对数据进行任何操作。 2、HDFS集群即使启动正 ...
分类：
其他好文 时间：
2018-11-29 23:23:40
阅读次数：
571
1什么是HA集群？ 所谓HA，即高可用（7*24小时不中断服务） HA集群是hadoop高可用集群，即有两个namenode，一个active，一个stanby，active的name挂掉之后，stanby的namenode就会切换成active， 最关键的是消除单节点故障 双namenode协调工 ...
分类：
其他好文 时间：
2018-11-29 15:39:38
阅读次数：
270
hadoop集群之Datenode无法启动解决办法 我们在启动hadoop集群的时候，通过jps查看进程，发现namenode RM和Secondary NameNode都有，但datanode没有启动，然后 datanode的启动日志如下 原因： 是多次format Namenode导致的Name ...
分类：
其他好文 时间：
2018-11-28 20:36:12
阅读次数：
279
一，mysql-mha环境准备 1.1 实验环境： 1.2 软件包 用到得所有包 链接：https://pan.baidu.com/s/1aQ1HC-j3U762zWGW63dfbA 提取码：o1dh 1） mha管理节点安装包： mha4mysql-manager-0.56-0.el6.noarc ...
分类：
数据库 时间：
2018-11-25 16:19:11
阅读次数：
229
mha-mysql环境准备： 三台虚拟机，都安装了mysql，都关闭防火墙和selinux，同时在每台虚拟机上都做映射 软件包 1） mha管理节点安装包： mha4mysql-manager-0.56-0.el6.noarch.rpm mha4mysql-manager-0.56.tar.gz 2 ...
分类：
数据库 时间：
2018-11-24 19:02:07
阅读次数：
264
1、查看Grant_priv是Y还是N 执行下面 select * from mysql.user where User='root' and Host='%'\G; 下图查看结果为Grant_priv是Y，如果是N，执行下面 update mysql.user set Grant_priv='Y' ...
分类：
数据库 时间：
2018-11-24 14:42:59
阅读次数：
238
1.client端向namenode请求上传文件，查看文件是否存在，是否有权限往hdfs写入 2.如果文件不存在，权限OK就根据副本数N（例如2个），根据网络拓扑选择N个离client端最近的datanode返回client。 （把文件切块，一个一个block块的请求namenode，返回最优的da ...
分类：
Web程序 时间：
2018-11-23 23:52:49
阅读次数：
244
一、Hadoop HA 机制的学习 1.1、Hadoop 2.X 的架构图 2.x版本中，HDFS架构解决了单点故障问题，即引入双NameNode架构，同时借助共享存储系统来进行元数据的同步，共享存储系统类型一般有几类，如：Shared NAS+NFS、BookKeeper、BackupNode 和 ...
分类：
其他好文 时间：
2018-11-22 16:06:00
阅读次数：
623
File /hbase/.tmp/hbase.version could only be replicated to 0 nodes instead of minReplication (=1). 这是由于 hadoop 的hdfs系统 中datanode没有与 namenode 连接页产生的，所以 ...
分类：
其他好文 时间：
2018-11-22 00:30:16
阅读次数：
464
