集群模式 HDFS 元数据 NameNode DataNode ...
分类：
其他好文 时间：
2019-02-04 15:23:25
阅读次数：
169
一、环境及软件准备 1、集群规划 hdp01/10.1.1.11hdp02/10.1.1.12hdp03/10.1.1.13hdp04/10.1.1.14hdp05/10.1.1.15 ambari server 是 否 否 否 否 ambari agent 是 是 是 是 是 namenode 是 ...
分类：
其他好文 时间：
2019-01-31 18:18:39
阅读次数：
513
在安装配置好hadoop以后，输入hadoop namenode -format,报：hadoop:command not found的错误信息 1)、输入： hadoop fs -ls，报这个错误信息 2)、检查环境变量的配置，没有问题 3)、直接切换到hadoop/bin目录下，仍然报这个错 4 ...
分类：
其他好文 时间：
2019-01-27 21:42:45
阅读次数：
220
1.单机(非分布式)模式 这种模式在一台单机上运行，没有分布式文件系统，而是直接读写本地操作系统的文件系统。 2.伪分布式运行模式 这种模式也是在一台单机上运行，但用不同的Java进程模仿分布式运行中的各类结点: (NameNode,DataNode,JobTracker,TaskTracker,S ...
分类：
其他好文 时间：
2019-01-27 13:00:41
阅读次数：
191
#### 大数据课程第二天 HDFS配置集群的原理分析 ssh免密登陆 通过工具生成公私钥对 公钥发送远程主机 修改slave文件 HDFS的集群搭建 ssh免密登陆 清除mac地址的影响 设置网络 安装hadoop,jdk NameNode持久化[了解] 什么是NameNode的持久化 FSIma ...
分类：
其他好文 时间：
2019-01-26 18:01:48
阅读次数：
194
HAdoop集群实战一:Zookeeper集群部署HAdoop集群实战二:Hadoop集群部署HAdoop集群实战三:Namenode高可用HA部署HAdoop集群实战四:Hbase集群部署HAdoop集群实战五:Hive集群部署HAdoop集群实战六:Kafka集群部署HAdoop集群实战七:Hive、Hbase集群整合...待更新HAdoop集群实战八:Hive、Hbase集群整合测试...待
分类：
其他好文 时间：
2019-01-25 19:21:51
阅读次数：
208
搭建大数据hadoop环境，遇到很多问题，这里记录一部分，以备以后查看。 【遇到问题】、在安装配置完hadoop以后，需要格式化namenode,输入指令：hadoop namenode -format，报错误信息：hadoop： command not found 网上查阅资料，建议检查hadoo ...
分类：
其他好文 时间：
2019-01-24 11:07:03
阅读次数：
141
搭建大数据hadoop完全分布式环境，遇到很多问题，这里记录一部分，以备以后查看。 1、在安装配置完hadoop以后，需要格式化namenode,输入指令：hadoop namenode -format，报错误信息：hadoop： command not found 本文网址：https://www ...
分类：
其他好文 时间：
2019-01-24 11:01:41
阅读次数：
161
1、环境介绍 服务器：CentOS 6.8 其中：2 台 namenode、3 台 datanode JDK：jdk-8u191-linux-x64.tar.gz hadoop：hadoop-3.1.1.tar.gz 节点信息： 2、配置hosts ...
分类：
其他好文 时间：
2019-01-24 00:33:28
阅读次数：
197
HDFS HDFS读写过程 写（上传） NameNode：Master主管管理者，管理HDFS的名称空间、配置副本策略、管理数据块Block的映射信息、处理客户端读写请求； DataNode：Slave，执行NN下达的命令，存储实际的数据块、执行数据块的读写操作； Client：①文件切分，将文件切 ...
分类：
其他好文 时间：
2019-01-20 22:02:33
阅读次数：
201
