在介绍HDFS读写流程时，先介绍下Block副本放置策略。 Block副本放置策略 第一个副本：放置在上传文件的DataNode；如果是集群外提交，则随机挑选一台磁盘不太满，CPU不太忙的节点。 第二个副本：放置在与第一个副本不同的机架的节点上。 第三个副本：与第二个副本相同机架的节点。 更多副本： ...
分类：
其他好文 时间：
2019-06-06 09:32:22
阅读次数：
115
：一、安装jdk环境（前提） 二、安装hadoop（hadoop-2.7.7.tar.gz） 1. 角色分配（3节点搭建） node-1 NameNode DataNode ResourceManager node-2 DataNode NodeManager SecondaryNameNode n ...
分类：
其他好文 时间：
2019-06-05 23:35:35
阅读次数：
111
1.用自己的话阐明Hadoop平台上HDFS和MapReduce的功能、工作原理和工作过程。 HDFS的功能：元数据、检查点、DataNode功能 HDFS的工作原理： 数据存取 - HDFS架构： Master / Slave(主从结构) - 节点可以理解为物理机器 主节点，只有一个: Namen ...
分类：
其他好文 时间：
2019-06-05 19:42:39
阅读次数：
70
1.HDFS简介 DataNode NameNode SecondaryNameNode HDFS文件权限 2.HDFS小结 3.HDFS交互操作 4.HDFS编程访问接口 ...
分类：
其他好文 时间：
2019-05-21 11:09:24
阅读次数：
77
dfs.datanode.directoryscan.throttle.limit.ms.per.sec set to value below 1 ms/sec. Assuming default value of 1000
分类：
其他好文 时间：
2019-05-20 16:49:09
阅读次数：
181
1、fsimage和edit的区别？ 2、列举几个配置文件优化？ --发挥 3、datanode 首次加入 cluster 的时候，如果 log 报告不兼容文件版本，那需要namenode 执行格式化操作，这样处理的原因是？ 4、MapReduce 中排序发生在哪几个阶段？这些排序是否可以避免？为什 ...
分类：
其他好文 时间：
2019-05-02 11:20:22
阅读次数：
136
1：namenode+secondaryNameNode工作机制 2：datanode工作机制 3：HDFS中的通信（代理对象RPC） 下面用代码来实现基本的原理 1：服务端代码 2：代理对象接口 3：代理对象的实现 4：客服端 ...
分类：
其他好文 时间：
2019-04-29 22:31:44
阅读次数：
203
Top NSD ARCHITECTURE DAY05 案例1：安装Hadoop 案例2：安装配置Hadoop 1 案例1：安装Hadoop 1.1 问题 本案例要求安装单机模式Hadoop： 单机模式安装Hadoop 安装JAVA环境 设置环境变量，启动运行 1.2 步骤 实现此案例需要按照如下步骤 ...
分类：
其他好文 时间：
2019-04-28 18:59:08
阅读次数：
198
一、datanode添加新节点 1.在dfs.include文件中包含新节点名称，该文件在名称节点的本地目录下 [白名单] [/app/hadoop/etc/hadoop/dfs.include] 2.在hdfs-site.xml文件中添加属性 <property> <name>dfs.hosts< ...
分类：
其他好文 时间：
2019-04-23 11:03:57
阅读次数：
146
简介 Schema.xml 作为 MyCat 中重要的配置文件之一，管理着 MyCat 的逻辑库、表、分片规则、DataNode 以及 DataSource。弄懂这些配置，是正确使用 MyCat 的前提。这里就一层层对该文件进行解析。 schema 标签 schema 标签用于定义 MyCat 实例 ...
分类：
其他好文 时间：
2019-04-17 19:39:20
阅读次数：
214
