杀死进程 $HADOOP_HOME/sbin/stop-yarn.sh $HADOOP_HOME/sbin/stop-dfs.sh 删除所有节点 hadoop 根目录下的 data 和 logs rm -rf data/ logs/ 格式化 在 hadoop 根目录下执行 hdfs namenode ...
分类：
其他好文 时间：
2021-03-06 14:35:10
阅读次数：
0
前言 昨天还是周末，公司群里就有人@，说集群有问题了，敲完Hive一直卡在那里进不去，于是我很快登上WebUi，看到了这么一幕：这台节点的磁盘满了，其他的数据分布都比较平均 为什么会这样 这里就不得不说一下HDFS复本存放策略了： namenode如何选择在哪个datanode存储复本（replic ...
分类：
其他好文 时间：
2021-02-20 12:16:37
阅读次数：
0
空元素 JSX 允许空的根元素，从而打破深嵌套。ReactRouter.HashRouter等组件都是空元素实现的。 return ( < > < > <div></div> <div></div> </> </> ); import * as React from 'react'; import ...
分类：
Web程序 时间：
2021-01-16 11:58:18
阅读次数：
0
解决Hadoop HA集群 NameNode 无法自动故障转移（切换active） 在学习 HA 自动化配置，按照hadoop官网:https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HDFSHighAvaila ...
分类：
其他好文 时间：
2021-01-15 12:13:12
阅读次数：
0
热身30题 1.描述一下HDFS的写流程 2.描述一下HDFS的读流程 3.详细讲解一下HDFS的体系结构 4.如果一个datanode出现宕机，恢复流程是什么样的？ 5.通常你是如何解决Haddop的NameNode宕机的，流程是什么？ 6.描述一下NameNode对元数据的管理 7.NameNo ...
分类：
其他好文 时间：
2021-01-14 10:47:06
阅读次数：
0
hadoop1.X架构 架构模型 分布式文件系统核心模块: namenode:集群中的主节点,管理元数据(文件的大小,文件的位置,文件的权限)。 secondaryNameNode:辅助namenode管理元数据信息。 dadanode:集群当中的从节点,主要存储集群中的各种数据。 分布式数据计算核 ...
分类：
其他好文 时间：
2020-12-28 11:29:22
阅读次数：
0
一. 前期准备 1. Vmware workstation pro 16 官网下载 : https://www.vmware.com/ 密钥：ZF3R0-FHED2-M80TY-8QYGC-NPKYF （若失效请自行百度） 2. xshell,xftp 官网下载（需要注册） 3. 国内镜像网站下载c ...
参考：https://forum.huawei.com/enterprise/zh/thread-435089.html 安全模式是HDFS的一种工作状态，处于安全模式下，只能给客户端提供只读视图，不接受增删改。 namenode启动时，会将映像文件（fsimage）和编辑日志（edit log）加 ...
分类：
其他好文 时间：
2020-12-21 11:55:04
阅读次数：
0
一、 初始化工作： 1. 准备三台机器 hostanme IP 用途 master 192.168.0.10 namenode node1 192.168.0.11 datenode node2 192.168.0.12 datenode 在三台机器上做下面的动作 2. 编辑/etc/hosts 1 ...
分类：
其他好文 时间：
2020-11-23 12:38:36
阅读次数：
12
hdfs的写入过程和读取过程 hdfs的写入过程 1、客户端（Client）发出请求（将请求发给namenode），要将大小为300M的a.txt文件上传到 根目录下（/a.txt） 2、namenode对收到的请求做出检测；检测1：所上传的路径下是否存在该文件，（即根目录下是否有a.txt），检测 ...
分类：
其他好文 时间：
2020-11-23 12:16:27
阅读次数：
4
