hadoop集群安装模式 1）单机模式 直接解压，无需任何配置。主要用于测试代码。没有分布式文件系统。 2）伪分布式 完全分布式的一种形式，只是所有的进程都配置要一个节点上。有分布式文件系统，只不过是这个文件系统只有一个节点。 3）完全分布式 包含主节点和从节点，主节点namenode只有一个（一般 ...
分类：
其他好文 时间：
2019-08-01 09:43:21
阅读次数：
117
https://www.jianshu.com/p/5dbb9011d2ee 我使用的Mac电脑.刚开始的时候一直不知道为什么会卡死. 我格式化了几次 namenode 也没有解决我的问题,从上面那个链接中得到启发.修改yarn的健康检查 成功解决问题 ...
分类：
其他好文 时间：
2019-07-26 14:44:53
阅读次数：
121
1.Secondary NameNode目录结构 Secondary NameNode用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。 在/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/current这个目录中查看Se ...
分类：
其他好文 时间：
2019-07-24 13:36:06
阅读次数：
96
1.DataNode工作机制 1）一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据（包括数据块的长度，块数据的校验和，以及时间戳）。 2）DataNode启动后向namenode注册，通过后，周期性（1小时）的向namenode上报所有的块信息。 3） ...
分类：
其他好文 时间：
2019-07-24 13:14:11
阅读次数：
108
hdfs：分布式文件系统 有目录结构，顶层目录是： /,存的是文件，把文件存入hdfs后，会把这个文件进行切块并且进行备份，切块大小和备份的数量有客户决定。 存文件的叫datanode，记录文件的切块信息的叫namenode Hdfs的安装 准备四台linux服务器 先在hdp-01上进行下面操作 ...
分类：
其他好文 时间：
2019-07-23 13:33:30
阅读次数：
98
镜像文件和编辑日志文件 1）概念 namenode被格式化之后，将在/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current目录中产生如下文件 （1）Fsimage文件：HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件i ...
分类：
其他好文 时间：
2019-07-19 21:01:27
阅读次数：
134
剖析HDFS文件写入 假设文件ss.avi共200m，其写入HDFS指定路径/user/atguigu/ss.avi流程如下： 1）客户端向namenode请求上传文件到指定路径，namenode通过元数据检查目标文件是否已存在，父目录是否存在。 2）namenode返回是否可以上传。 3）客户端请 ...
分类：
其他好文 时间：
2019-07-19 17:01:35
阅读次数：
131
1、本地模式：默认模式 - 不对配置文件进行修改。 - 使用本地文件系统，而不是分布式文件系统。 - Hadoop不会启动NameNode、DataNode、ResourceManager、NodeManager等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行的。 - 用于 ...
分类：
其他好文 时间：
2019-07-19 14:03:28
阅读次数：
142
存储流程 a) <!--[endif]-->Clinet首先将要存储的数据切分成若干块，然后向NameNode发送存储请求， 首先向向缓冲区chunkbuff中写入，当达到一个chunk大小时(512byte)，将chunk写出到packetbuff，每个chunk有一个MD5码（4byte），这个 ...
分类：
其他好文 时间：
2019-07-16 16:47:40
阅读次数：
122
Hadoop 2.0产生背景 Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题 HDFS存在的问题(2个) NameNode单点故障，难以应用于在线场景 HA NameNode压力过大，且内存受限，影扩展性 F MapReduce存在的问题响系统 JobTracker ...
分类：
其他好文 时间：
2019-07-14 15:21:20
阅读次数：
68
