靶机链接： https://www.vulnhub.com/entry/ha-chanakya,395/ 网络主机探测： 主机端口扫描： nmap -p- -sC -sV 10.10.202.136 FTP 有认证 HTTP目录枚举（dirb和dirsearch 多种工具使用枚举） dirb htt ...
分类：
其他好文 时间：
2020-01-01 18:25:24
阅读次数：
108
namenode元数据管理 namenode主要功能模块 Fsimage是一个二进制文件，其大致结构如下图： 1. 首先是一个image head，其中包含： a) imgVersion(int)：当前image的版本信息 b) namespaceID(int)：命名空间ID，唯一的 c) numF ...
分类：
其他好文 时间：
2020-01-01 14:55:43
阅读次数：
72
HDFS分布式文件系统概述 一、首先需要准备N台linux服务器 学习阶段，用虚拟机即可！ 先准备4台虚拟机：1个namenode节点 + 3 个datanode 节点 二、修改各台机器的主机名和ip地址 主机名： hdp01 对应的ip地址：192.168.11.25 主机名： hdp02 对应的 ...
分类：
其他好文 时间：
2020-01-01 09:29:00
阅读次数：
85
一 整体介绍 1.1 硬件环境 本文使用三台服务器搭建hadoop集群，使用Centos7.5系统，服务器均有独立ip 1.2 部署的软件 部署服务：namenode（HA）,resourcemanager（HA）,zookeeper，hbase（HA）,spark,kafka,geomesa 版本 ...
分类：
其他好文 时间：
2019-12-31 14:12:21
阅读次数：
94
靶机链接： https://www.vulnhub.com/entry/ha-chakravyuh,388/ 主机探测扫描： 端口扫描： ╰─ nmap -p- -sC -sV 10.10.202.131 FTP 匿名访问 下载压缩文件，解压缩需要密码，基本套路一直，需要密码，接下来就是找解压密码的 ...
分类：
其他好文 时间：
2019-12-31 10:41:13
阅读次数：
112
一、基础环境 1.虚拟机 VMware 15.0 2.CentOS 6.5 Linux 系统 二、MapReduce的原理分析 三、Yarn集群搭建 1.准备好三台虚拟机（这里我直接拷贝了Ha集群中一个作为主机，其余克隆） 2.修改基础配置： 1.删除每一台机器的Mac地址（CentOS 7 以上不 ...
分类：
其他好文 时间：
2019-12-30 23:15:14
阅读次数：
116
一、为什么namenode持久化 namenode通过内存存储hdfs集群的元数据（目录结构 文件信息 块对应关系），如果内存出现问题，那么会数据丢失，需要通过持久化，把内存中的数据定期的存储在硬盘中，进而保证namenode的数据安全。 二、持久化的原理 1、FSImage (某一时刻 namen ...
分类：
其他好文 时间：
2019-12-29 18:48:03
阅读次数：
133
一、安装 Seafile官网下载页面：https://www.seafile.com/download/ ，获取7.0.5版本的下载地址 登录pi的命令，转到root，然后下载 #sudo -s #cd /nas root@midou:/nas# wget https://github.com/ha ...
分类：
其他好文 时间：
2019-12-29 14:43:59
阅读次数：
131
启动和关闭Hadoop集群命令步骤总结： 1. 在master上启动hadoop-daemon.sh start namenode.2. 在slave上启动hadoop-daemon.sh start datanode.3. 用jps指令观察执行结果.4. 用hdfs dfsadmin -repor ...
分类：
其他好文 时间：
2019-12-28 22:47:34
阅读次数：
878
Hadoop的NameNode需要启动集群中所有机器的Hadoop守护进程，这个过程需要通过SSH登录来实现 Hadoop并没有提供SSH输入密码登录的形式，因此，为了能够顺利登录每台机器，需要将所有机器配置为NameNode可以免密登录 由于是双master，所以需要在master与master_ ...
分类：
其他好文 时间：
2019-12-28 22:43:47
阅读次数：
88
