HA简介 1.所谓HA，即高可用（high available） 2.消除单点故障，避免集群瘫痪，hdfs中namenode保存了整个集群的元数据，如果namenode所在机器宕机，则整个集群瘫痪，HA 能够即使将备用的namenode替代宕机节点的namenode 3.当机器出现故障，或需要升级等 ...
分类：
其他好文 时间：
2018-12-18 15:59:16
阅读次数：
215
1概述本文章介绍大数据平台Hadoop的分布式环境搭建、以下为Hadoop节点的部署图，将NameNode部署在master1，SecondaryNameNode部署在master2，slave1、slave2、slave3中分别部署一个DataNode节点NN=NameNode（名称节点）SND=SecondaryNameNode（NameNode的辅助节点）DN=DataNode（数据节点）2
分类：
其他好文 时间：
2018-12-18 13:58:09
阅读次数：
195
HDFS 架构图 HDFS 服务功能 NameNode NameNode是主节点，存储文件的元数据如文件名，文件目录，文件属性（生成时间、副本数、文件权限），以及每个文件的块列表和块所在的DataNode等。 DataNode DataNode在本地文件系统存储文件块数据，以及块数据的校验和。 Se ...
分类：
其他好文 时间：
2018-12-16 23:38:50
阅读次数：
183
大数据生态之 HDFS HDFS工作机制 客户端上传文件时，一方面由datanode存储文件内容，另一方面有namenode负责管理block信息（切块大小，副本数量，位于datanode上的位置信息） 一丶namenode的工作职责： a) 文件的路径 b) 文件的副本数量 c) 文件切块大小 d ...
分类：
其他好文 时间：
2018-12-16 19:33:16
阅读次数：
156
一. HA概述 1. 所谓HA（High Available），即高可用（7*24小时不中断服务）。 2. 实现高可用最关键的策略是消除单点故障。HA严格来说应该分成各个组件的HA机制：HDFS的HA和YARN的HA。 3. Hadoop2.0之前，在HDFS集群中NameNode存在单点故障（SP ...
分类：
其他好文 时间：
2018-12-16 14:33:19
阅读次数：
158
若HDFS集群中只配置了一个NameNode，那么当该NameNode所在的节点宕机，则整个HDFS就不能进行文件的上传和下载。若YARN集群中只配置了一个ResourceManager，那么当该ResourceManager所在的节点宕机，则整个YARN就不能进行任务的计算。*Hadoop依赖Zookeeper进行各个模块的HA配置，其中状态为Active的节点对外提供服务，而状态为StandB
分类：
其他好文 时间：
2018-12-13 16:30:24
阅读次数：
221
动态上下线集群的一些配置： 1、namenode中 hdfs-site.xml 配置 dfs.hosts所对应的文件中列出了所有可以连接到namenode的datanode， 如果为空则所有的都可以连入， dfs.hosts.exclude所对应的文件中列出了禁止连接namenode的datanod ...
分类：
其他好文 时间：
2018-12-10 13:56:58
阅读次数：
256
1. HDFS的写数据流程 1.客户端通过fs模块向NameNode申请文件上传,NameNode检查请求是否合法,如用户权限,目标文件是否已存在,父目录是否存在等等 2.NameNode返回是否可以上传,如果是的话,建立连接通道 3.客户端通过FSDataOutputStream模块请求上传blo ...
分类：
其他好文 时间：
2018-12-08 17:54:52
阅读次数：
148
-- 重点，目标表无重复数据 从结果可以看出，在无重复数据的情况下，parquet的压缩无用武之地，占用空间比textfile还大，ORC是压缩最强的文件模式。 ...
分类：
其他好文 时间：
2018-12-05 20:32:24
阅读次数：
201
获取分布式文件系统 URI 对象是指向hadoop集群中的namenode 节点， 端口也是配置的 , user = “”ljs“” 用户 上传文件到hdfs文件系统 从hdfs文件系统下载文件 给hdfs文件系统创建目录s 删除某文件 给某个文件或目录改名字 ...
