1.HDFS简介 DataNode NameNode SecondaryNameNode HDFS文件权限 2.HDFS小结 3.HDFS交互操作 4.HDFS编程访问接口 ...
分类：
其他好文 时间：
2019-05-21 11:09:24
阅读次数：
77
dfs.datanode.directoryscan.throttle.limit.ms.per.sec set to value below 1 ms/sec. Assuming default value of 1000
分类：
其他好文 时间：
2019-05-20 16:49:09
阅读次数：
181
1、fsimage和edit的区别？ 2、列举几个配置文件优化？ --发挥 3、datanode 首次加入 cluster 的时候，如果 log 报告不兼容文件版本，那需要namenode 执行格式化操作，这样处理的原因是？ 4、MapReduce 中排序发生在哪几个阶段？这些排序是否可以避免？为什 ...
分类：
其他好文 时间：
2019-05-02 11:20:22
阅读次数：
136
1：namenode+secondaryNameNode工作机制 2：datanode工作机制 3：HDFS中的通信（代理对象RPC） 下面用代码来实现基本的原理 1：服务端代码 2：代理对象接口 3：代理对象的实现 4：客服端 ...
分类：
其他好文 时间：
2019-04-29 22:31:44
阅读次数：
203
Top NSD ARCHITECTURE DAY05 案例1：安装Hadoop 案例2：安装配置Hadoop 1 案例1：安装Hadoop 1.1 问题 本案例要求安装单机模式Hadoop： 单机模式安装Hadoop 安装JAVA环境 设置环境变量，启动运行 1.2 步骤 实现此案例需要按照如下步骤 ...
分类：
其他好文 时间：
2019-04-28 18:59:08
阅读次数：
198
一、datanode添加新节点 1.在dfs.include文件中包含新节点名称，该文件在名称节点的本地目录下 [白名单] [/app/hadoop/etc/hadoop/dfs.include] 2.在hdfs-site.xml文件中添加属性 <property> <name>dfs.hosts< ...
分类：
其他好文 时间：
2019-04-23 11:03:57
阅读次数：
146
简介 Schema.xml 作为 MyCat 中重要的配置文件之一，管理着 MyCat 的逻辑库、表、分片规则、DataNode 以及 DataSource。弄懂这些配置，是正确使用 MyCat 的前提。这里就一层层对该文件进行解析。 schema 标签 schema 标签用于定义 MyCat 实例 ...
分类：
其他好文 时间：
2019-04-17 19:39:20
阅读次数：
214
HDFS高可用环境HA的架构 HDFS组件由一个对外提供服务的namenode（存储元数据）和N个datanode组成；Zookeeper有三个作用：1.为了统一配置文件 config 2.多个节点的进程要修改公共变量的话，zookeeper会加一个锁 3.仲裁 （必须是奇数个节点，自己组成一个集群 ...
分类：
其他好文 时间：
2019-04-07 20:27:28
阅读次数：
129
我查看了网上的原因，把core.site.xml里的以下配置复制到了hdfs.site.xml里，三台机器都要复制，复制完以后在重新启动hadoop集群，嗯~~~启动了一个nn，还有一个nn没有起来，然后如果你也另一个namenode没有起来请看我另一篇文章吧！！！https://www.cnblo ...
分类：
其他好文 时间：
2019-04-07 14:34:25
阅读次数：
392
主要功能： 1、存储：HDFS 2、分析/运算：Mapreduce 3、调度：YARN 存储： hdfs分布式文件存储系统，是nosql数据库，每台节点服务器都是hdfs的部分，大数据平均分布在每个节点上，并且是以文件存储的形式，每个节点上存储的部分数据有通过块来进行数据文件的分片，形成数据块，每个 ...
分类：
其他好文 时间：
2019-04-06 23:03:41
阅读次数：
139
