HDFS的工作机制 概述 HDFS集群分为两大角色：NameNode、DataNode NameNode负责管理整个文件系统的元数据 DataNode 负责管理用户的文件数据块 文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台datanode上 每一个文件块可以有多个副本，并 ...
分类：
其他好文 时间：
2018-05-12 21:40:15
阅读次数：
202
1.概述 接着上一篇博客的内容，继续介绍Hadoop3的其他新特性。其内容包含：优化Hadoop Shell脚本、重构Hadoop Client Jar包、支持等待Container、MapReduce任务级别本地优化、支持多个NameNode、部分默认服务端口被改变、支持文件系统连接器、DataN ...
分类：
其他好文 时间：
2018-05-12 13:17:14
阅读次数：
139
一：namenode出现missing blocks 日常巡检CDH集群和HDP集群发现有些namenode下有很多missing blocks ，hadoop数据存储单位为块。一块64M，这些Missing大多因为元数据丢失而毁坏，就行硬盘故障一样，需要fsck CDH集群 ：Cloudera m ...
分类：
其他好文 时间：
2018-05-11 20:14:03
阅读次数：
318
前言 我们使用hadoop2.6.0版本配置Hadoop集群，同时配置NameNode+HA、ResourceManager+HA，并使用zookeeper来管理Hadoop集群。 (一)HDFS概述 基础架构 1、NameNode（Master） 1)命名空间管理：命名空间支持对HDFS中的目录、 ...
分类：
其他好文 时间：
2018-05-11 00:49:01
阅读次数：
179
一、Hadoop 二、HDFS 大文件；一次写，多次读，不能修改；普通硬件就可以存储。 低延迟数据；小文件处理没优势；不适合多次写，随意改的数据 同时可以分布式的读取，读取速度可以大大加快。 副本备份；自动备份； 分块信息保存在：namenode。 分块存储；冗余存储；分布读取； namenode保 ...
分类：
其他好文 时间：
2018-05-07 19:30:30
阅读次数：
154
环境：Centos 6.9，Hadoop 2.7.1,JDK 1.8.0_161,Maven 3.3.9 前言： 1、配置一台master服务器，两台或多台slave服务器。 2、master可以无密码ssh登陆slave 3、解压安装Hadoop，配置hadoop的core-site.xml、hd ...
分类：
其他好文 时间：
2018-05-04 11:47:17
阅读次数：
172
Hadoop集群hdfs添加磁盘操作 目前的环境是cdh。服务器部署在Azure；一个cdhmaster（一个namenode，一个datanode），四个cdhslave节点（各一个datanode）。 hdfs现状： 首先是在Azure控制台对每台服务器添加一块磁盘（我这添加的是4T） 在到服务 ...
分类：
其他好文 时间：
2018-05-03 23:27:25
阅读次数：
1226
hadoop: hdfs:分布式存储 MR： 分布式计算 hdfs: ========================= 1、namenode(元数据)、datanode(真实数据)、2nn(检查点) 2、hadoop-daemon.sh start namenode //启动本机进程 hadoop... ...
分类：
其他好文 时间：
2018-04-25 17:01:32
阅读次数：
220
一、分布式模型1、环境准备准备4个节点，master1为主控节点（NameNode、SecondaryNameNode、ResourceManager），master2-4作为数据节点（DataNode、NodeManager）。并做好ntp时间同步1.1每个节点配置JAVA环境[root@master1~]#vim/etc/profile.d/java.shexportJAVA_HOME=/us
分类：
其他好文 时间：
2018-04-23 00:15:24
阅读次数：
179
执行 jps命令之后，发现 NameNodeSecondaryNameNodeDataNode 均启动失败 于是查看之前重启start-dfs.sh文件 发生如现如下问题 问题显示 namenode SecondaryNameNode DataNode 看见三个都出了问题，心里反而不慌了，这说明配置 ...
分类：
其他好文 时间：
2018-04-22 20:03:53
阅读次数：
187
