场景： 预发环境中，同事已经搭建了一套hadoop集群，由于版本与所需不符，所以需要替换版本 问题描述： 在配置文件都准确的情况下，启动hadoop,出现以下报错： 启动之前初始化： 初始化目录跟配置文件目录不一致 hdfs namenode -format [root@hdoop2 hadoop- ...
分类：
编程语言 时间：
2018-11-30 15:47:23
阅读次数：
349
当我们在hdfs上操作文件的时候，有时候会报错 ，出现namenode in safemode namenode处于安全模式的原因： 1、NameNode发现集群中DataNode丢失达到一定比例（0.01%）时会进入安全模式，此时只允许查看数据不允许对数据进行任何操作。 2、HDFS集群即使启动正 ...
分类：
其他好文 时间：
2018-11-29 23:23:40
阅读次数：
571
1什么是HA集群？ 所谓HA，即高可用（7*24小时不中断服务） HA集群是hadoop高可用集群，即有两个namenode，一个active，一个stanby，active的name挂掉之后，stanby的namenode就会切换成active， 最关键的是消除单节点故障 双namenode协调工 ...
分类：
其他好文 时间：
2018-11-29 15:39:38
阅读次数：
270
hadoop集群之Datenode无法启动解决办法 我们在启动hadoop集群的时候，通过jps查看进程，发现namenode RM和Secondary NameNode都有，但datanode没有启动，然后 datanode的启动日志如下 原因： 是多次format Namenode导致的Name ...
分类：
其他好文 时间：
2018-11-28 20:36:12
阅读次数：
279
1.client端向namenode请求上传文件，查看文件是否存在，是否有权限往hdfs写入 2.如果文件不存在，权限OK就根据副本数N（例如2个），根据网络拓扑选择N个离client端最近的datanode返回client。 （把文件切块，一个一个block块的请求namenode，返回最优的da ...
分类：
Web程序 时间：
2018-11-23 23:52:49
阅读次数：
244
一、Hadoop HA 机制的学习 1.1、Hadoop 2.X 的架构图 2.x版本中，HDFS架构解决了单点故障问题，即引入双NameNode架构，同时借助共享存储系统来进行元数据的同步，共享存储系统类型一般有几类，如：Shared NAS+NFS、BookKeeper、BackupNode 和 ...
分类：
其他好文 时间：
2018-11-22 16:06:00
阅读次数：
623
File /hbase/.tmp/hbase.version could only be replicated to 0 nodes instead of minReplication (=1). 这是由于 hadoop 的hdfs系统 中datanode没有与 namenode 连接页产生的，所以 ...
分类：
其他好文 时间：
2018-11-22 00:30:16
阅读次数：
464
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。1.问题现象Hadoop集群HDFS、YARN、Hive等服务出现异常告警重启集群异常告警任然存在大量告警Cluster1HDFS可用空间抑制...NameNode运行状况抑制...HDFS金丝雀抑制...DataNode(ip-172-31-10-118)日志文件NameNode连接抑制...DataNode(ip-172-31-5-
分类：
其他好文 时间：
2018-11-20 19:29:18
阅读次数：
251
bayaim_bayaim_hadoop2_hdfs_20181107 HDFS 原理：上传数据要分块（128M）分块存储分布式文件系统 先启动HDFS 1. sbin/start-dfs.sh 一直输入：yes 电脑密码: root/dba_2018 再启动YARN 2. sbin/start-y ...
分类：
其他好文 时间：
2018-11-19 11:10:57
阅读次数：
170
温馨提示：要看高清无码套图，请使用手机打开并单击图片放大查看。1.概述本文档描述WindowsServer2008R2（windows的内核版本是6.1，与windows7相同）下安装KerberosClient及FireFox下HTTP访问HDFS、Yarn、Hive、HBase等Hadoop服务的WebUI(如Namenode的50070，Yarn的8088)的过程。安装文档主要分为以下几步：
