大数据第一周：安装CentOS7 点击创建新对虚拟机。 选择典型。 指定安装源。 选择安装位置，第一个原则考虑放到不同的物理硬盘上，第二个考虑硬盘接口速度。 对于NameNode，由于我们对开发要在此节点上运行，所以硬盘空间要选择在40G以上。 硬盘文件选择单个，原因是为了提高运行速度。 为了提高安... ...
分类：
其他好文 时间：
2020-03-03 13:15:53
阅读次数：
123
HDFS写流程 步骤：1.客户请求namenode上传文件,附带路径2.namenode检查，并响应是否允许3.客户端将文件分块，并请求分配block和datanode地址4.namenode响应客户端求，给定地址d1、d4、d65.客户端建立管道：d1收到请求继续调用d4,d4再调用d6。按照po ...
分类：
其他好文 时间：
2020-03-02 23:06:27
阅读次数：
69
格式化NameNode会产生新的集群id，导致NameNode和DataNode的集群id不一致，集群找不到以往数据，所以，格式化NameNode前，先关闭掉NameNode和DataNode，然后一定要删除data数据和log日志。最后再进行格式化。 在hadoop-2.9.2/data/tmp/ ...
分类：
其他好文 时间：
2020-03-01 14:11:34
阅读次数：
98
一、配置相关文件 在hadoop-2.9.2下etc/hadoop/core-site.xml中配置： <configuration> <!--指定HDFS中NameNode的地址--> <property> <name>fs.defaultFS</name> <value>hdfs://hadoo ...
分类：
其他好文 时间：
2020-03-01 14:06:24
阅读次数：
96
1. 读操作 1. 客户端向namenode发起上传请求 2. namenode检查datanode是否已经存有该文件，并且检查客户端的权限 3. 确认可以上传后，根据文件块数返回datanode栈 注：namenode触发副本放置策略，如果客户端在集群内的某一台机器，那么副本第一块放置在该服务器上 ...
分类：
其他好文 时间：
2020-03-01 12:13:26
阅读次数：
64
在给学生授课和搭建Hadoop生态实验环境的过程中，我发现无论是网络上的参考资料、还是来自大数据服务功供应商的运维文档，给出Hadoop的HA解决方案都如出一辙——使用ZooKeeper加QuorumJournalManager方案。诚然，这一方案久经考验，是十分成熟的可靠方案。
分类：
其他好文 时间：
2020-03-01 00:08:41
阅读次数：
68
在搭好HA集群之后，想测试一下集群的高可用性，于是先把active的namenode给停掉： hadoop-daemon.sh stop namenode 或者直接kill掉该节点namenode的对应进程也可。 但是通过hdfs haadmin -getServiceState master1 查 ...
分类：
其他好文 时间：
2020-02-28 18:52:26
阅读次数：
101
一张参数图 通过此参考图，我们基本也就可以了解到关于hasura graphql-engine 如何提高稳定以及扩展 说明 如下的参考资料有关于autoscale 的一些问题说明，以及内部的一些设计，是很不错的资料 参考资料 https://github.com/hasura/graphql-eng ...
分类：
其他好文 时间：
2020-02-28 10:32:18
阅读次数：
71
此方法直接使用RKE进行集群恢复，它适用于RKE创建并导入的集群或者RKE部署的local集群 一、备份 "参考官网备份步骤" ，本文采用的是 RKE HA部署的，三台服务器都是 。 1.1 自动备份 RKEv0.2以后默认ETCD自动备份没有开启，需要使用额外的配置参数启用etcd snapsho ...
分类：
其他好文 时间：
2020-02-26 18:28:25
阅读次数：
235
hadoopd的sbin目录的脚本 一、服务相关的一些脚本 开启一个软件： 1、hadoop-daemon.sh start namenode 2、hadoop-daemon.sh start datanode 3、hadoop-daemon.sh start secondarynamenode （ ...
分类：
其他好文 时间：
2020-02-25 18:14:39
阅读次数：
74
