一、安装JDK，并配置环境变量。因为Hadoop是以Java开发的，所以必须先安装Java环境二、安装SSH，设置SSH无密码登录。Hadoop是由很多台服务器所组成的。当我们启动Hadoop系统时，NameNode必须与DataNode连接，并管理这些节点(DataNode)。此时系统会要求用户输 ...
分类：
其他好文 时间：
2019-06-17 01:21:52
阅读次数：
121
请参考上一个链接地址：hdfs为什么不擅长存储大量小文件https://blog.51cto.com/12445535/2354951概述：namenodereplication（复制）复制默认块复制因子（dfs.replication）为3。复制影响磁盘空间但不影响内存消耗。复制会更改每个块所需的存储量，但不会更改块的数量。如果DataNode上的一个块文件（由NameNode上的一个块表示）被
分类：
其他好文 时间：
2019-06-12 16:31:40
阅读次数：
256
端口用途9000fs.defaultFS，如：hdfs://172.25.40.171:90009001dfs.namenode.rpc-address，DataNode会连接这个端口50070dfs.namenode.http-address50470dfs.namenode.https-addr ...
分类：
其他好文 时间：
2019-06-11 22:18:53
阅读次数：
198
HDFS安装-完全分布式 1、 先决条件 a) 三台机器（以上） b) 每台机器时间一致，相差30秒以内。 c) 必须有主机名和ip映射。 d) 必须有JDK1.7,并且JDK的环境变量必须配置好。 i. rpm -ivh jdk-7u79-linux-x64.rpm 安装jdk ii. 配置环境变 ...
分类：
其他好文 时间：
2019-06-11 20:56:09
阅读次数：
174
一。 HDFS概念 1.1 概念 HDFS是一个分布式文件系统，用于存储文件，通过目录树来定位文件，适合一次写入，多次读出的场景，且不支持文件的修改。适合用来做数据分析，并不适合用来做网盘应用。 1.2 组成 1）HDFS集群包括，NameNode和DataNode以及Secondary Namen ...
分类：
其他好文 时间：
2019-06-11 09:15:49
阅读次数：
120
之前在使用时的没用去懂.ssh,后来因为一些情况直接将其权限修改为777. 第一位7等于4+2+1，所以就是rwx，所有者有读取、写入、执行的权限；第二位7也是4+2+1，rwx，同组用户具有读取、写入、执行权限；第三位7，代表公共用户有读取、写入、执行的权限。 在启动datanode和nameno ...
分类：
其他好文 时间：
2019-06-09 00:39:26
阅读次数：
215
什么是NameNode和DataNode？他们是如何协同工作的？ ...
分类：
其他好文 时间：
2019-06-07 19:19:52
阅读次数：
85
在介绍HDFS读写流程时，先介绍下Block副本放置策略。 Block副本放置策略 第一个副本：放置在上传文件的DataNode；如果是集群外提交，则随机挑选一台磁盘不太满，CPU不太忙的节点。 第二个副本：放置在与第一个副本不同的机架的节点上。 第三个副本：与第二个副本相同机架的节点。 更多副本： ...
分类：
其他好文 时间：
2019-06-06 09:32:22
阅读次数：
115
：一、安装jdk环境（前提） 二、安装hadoop（hadoop-2.7.7.tar.gz） 1. 角色分配（3节点搭建） node-1 NameNode DataNode ResourceManager node-2 DataNode NodeManager SecondaryNameNode n ...
分类：
其他好文 时间：
2019-06-05 23:35:35
阅读次数：
111
1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 HDFS的功能：元数据、检查点、DataNode功能 HDFS的工作原理： 数据存取 - HDFS架构： Master / Slave(主从结构) - 节点可以理解为物理机器 主节点，只有一个: Namen ...
分类：
其他好文 时间：
2019-06-05 19:42:39
阅读次数：
70
