新特性 NameNode支持HA 命名空间支持分区(Federation) 支持ViewFS 支持目录快照 支持权限ACL 支持缓存指定的文件 QJM实现名字节点HA （图片来源互联网） 命名空间分区(NameNode Federation) 文件系统命名空间进行分组，每组由一个NameNode集群 ...
分类：
其他好文 时间：
2018-10-09 00:39:40
阅读次数：
271
“Exitting with status 1” 原因应该是权限不够无法再目录内新建文件。 先输入命令：sudo su 获得root权限 输入命令：sudo chmod -R a+w ／usr／local／ｈadoop／ 粗体是自己的安装路径 输入命令exit回到普通用户身份 此时再在Hadoop的 ...
分类：
其他好文 时间：
2018-10-01 19:59:02
阅读次数：
399
最近在实验室弄ssh登录，结果被虐了，要注意以下： 1.主机名不能包括 - _ ! 等非法字符。 2.如果hadoop格式化时，报：“SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: datanode:unk ...
分类：
其他好文 时间：
2018-09-30 21:25:48
阅读次数：
175
问题1:namenode进程故障 Namenode挂掉，Namenode gc日志里面YGC报错promotion failed 现象描述 NameNode进程挂掉，Namenode gc日志里面YGC报错promotion failed。 可能原因 Young gc的时候，需要复制eden区和fr ...
分类：
其他好文 时间：
2018-09-30 20:42:17
阅读次数：
194
1.对 hadoop 进行格式化 到 /opt/app/hadoop-2.5.0 目录下 执行命令： bin/hdfs namenode -format 执行的效果图如下 ( 下图成功 格式化 不要没事格式化 ) 2.启动dfs 执行命令(在 /opt/app/hadoop-2.5.0/目录下): ...
分类：
其他好文 时间：
2018-09-29 22:04:57
阅读次数：
175
hadoop2.0介绍 hadoop2.0 功能： HDFS：hadoop的分布式文件系统 运行架构：主从架构 主：namenode 一个 >管理 为解决单点故障添加助理 助理：secondarynamenode >帮助namenode备份数据 但是接替不了namenode的工作 从：datanod ...
分类：
其他好文 时间：
2018-09-28 12:37:29
阅读次数：
171
DFS集群安装： 1.准备工作 （1）虚拟机(电脑8G 磁盘500GB) （2）3台linux系统（1台namenode 2台datanode） 2.安装HDFS(软件) （1）关闭防火墙 firewall-cmd --state 查看防火墙状态 systemctl stop firewalld.s... ...
分类：
其他好文 时间：
2018-09-28 01:45:27
阅读次数：
198
搭建HA（高可用）模式的集群参见（http://blog.cheyo.net/92.html） 转自：http://www.it165.net/admin/html/201407/3465.html 社区hadoop2.2.0 release版本开始支持NameNode的HA，本文将详细描述Name ...
分类：
其他好文 时间：
2018-09-27 15:33:09
阅读次数：
190
1. 原因一 在 start-all.sh 之后 DataNode 无法正常启动，单独启动也启动不了 可能的原因 多次格式化，导致 NameNode 和 DataNode 的集群 id 不匹配 DataNode 无法启动 验证 查看对应主机的相关日志信息，位置在 /soft/hadoop/logs ...
分类：
其他好文 时间：
2018-09-25 21:54:44
阅读次数：
2320
元数据管理机制名词解释1、NameNode?hdfs-site.xml的dfs.name.dir属性?是整个文件系统的管理节点。它维护着整个文件系统的文件目录树，文件/（根）目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。文件包括：?fsimage:元数据镜像文件。存储某一时段NameNode内存元数据信息?edits:操作日志文件?fstime:保存最近一次checkpoint的时间
分类：
其他好文 时间：
2018-09-25 18:01:11
阅读次数：
169
