1.DataNode工作机制 1）一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据（包括数据块的长度，块数据的校验和，以及时间戳）。 2）DataNode启动后向namenode注册，通过后，周期性（1小时）的向namenode上报所有的块信息。 3） ...
分类：
其他好文 时间：
2019-07-24 13:14:11
阅读次数：
108
hdfs：分布式文件系统 有目录结构，顶层目录是： /,存的是文件，把文件存入hdfs后，会把这个文件进行切块并且进行备份，切块大小和备份的数量有客户决定。 存文件的叫datanode，记录文件的切块信息的叫namenode Hdfs的安装 准备四台linux服务器 先在hdp-01上进行下面操作 ...
分类：
其他好文 时间：
2019-07-23 13:33:30
阅读次数：
98
1、本地模式：默认模式 - 不对配置文件进行修改。 - 使用本地文件系统，而不是分布式文件系统。 - Hadoop不会启动NameNode、DataNode、ResourceManager、NodeManager等守护进程，Map()和Reduce()任务作为同一个进程的不同部分来执行的。 - 用于 ...
分类：
其他好文 时间：
2019-07-19 14:03:28
阅读次数：
142
Postgres XL is composed of three major components: the GTM (Global Transaction Manager), the Coordinator and the Datanode. Their features are given in ...
分类：
数据库 时间：
2019-07-19 12:44:34
阅读次数：
336
hadoop版本：2.9.2 1、带宽的设置参数： dfs.datanode.balance.bandwidthPerSec 默认值 10m 2、datanode之间数据块的传输线程大小：dfs.datanode.max.transfer.threads 默认值4096 3、修改dfs.datano ...
分类：
其他好文 时间：
2019-07-12 18:35:31
阅读次数：
139
一、HDFS是一个分布式文件系统 体系架构： hdfs主要包含了3部分，namenode、datanode和secondaryNameNode namenode主要作用和运行方式： 1）管理hdfs的元数据信息，文件名字，大小，切成几块，有几个副本，切成块和副本分别存储在datanode的位置，块i ...
分类：
其他好文 时间：
2019-07-10 12:20:30
阅读次数：
130
hdfs集群组成结构： 安装hdfs集群的具体步骤： 1、学习阶段，用虚拟机即可！ 先准备4台虚拟机：1个namenode节点 + 3 个datanode 节点 2、修改各台机器的主机名和ip地址 主机名：hdp-01 对应的ip地址：192.168.33.61 主机名：hdp-02 对应的ip地址 ...
分类：
其他好文 时间：
2019-07-09 09:13:38
阅读次数：
117
一、报错信息： Starting namenodes on [master] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborti ...
分类：
其他好文 时间：
2019-07-04 17:40:26
阅读次数：
252
一、心跳机制 1、心跳报告概念 datanode会定时的向namenode发送心跳报告，目的是告诉namenode自己的存活状况以及可用空间。这个时间默认为3秒。 2、心跳报告具体作用 （1）向namenode汇报自己的存活状况以及可用空间 （2）向namenode发送块报告，每一个datanode ...
分类：
其他好文 时间：
2019-06-30 20:53:26
阅读次数：
337
/etc/hadoop/conf/hadoop-metrics2.properties namenode.sink.ganglia.servers=10.0.0.1:8649 datanode.sink.ganglia.servers=10.0.0.1:8649 journalnode.sink.g... ...
分类：
其他好文 时间：
2019-06-20 15:47:39
阅读次数：
110
