HDFS写数据的流程 HDFS shell上传文件a.txt，300M 对文件分块，默认每块128M。 shell向NameNode发送上传文件请求 NameNode检测文件系统目录树，看能否上传 NameNode向shell发送允许上传通知 shell向NameNode发送上传block1，备份为 ...
分类：
其他好文 时间：
2020-03-29 01:09:38
阅读次数：
66
（1）Hadoop1.x和2.x之间的区别 Hadoop 1.0内核主要由两个分支组成：MapReduce和HDFS，在高可用、扩展性等方面存在问题 1）HDFS存在的问题 1.NameNode单点故障，难以应用于在线场景。 2.NameNode压力过大，且内存受限，影响扩展性。 2）MapRedu ...
分类：
其他好文 时间：
2020-03-28 17:42:52
阅读次数：
69
1.1 业务数据全部存储在datanode上面，所以datanode的存储空间必须足够大，且每个datanode的存储空间尽量保持一致。1.2 管理节点/namenode对存储空间要求不高，主要存储各计算节点datanode的元数据信息，以3个datanode为例，每个datanode存储2T的数据... ...
分类：
其他好文 时间：
2020-03-27 23:28:42
阅读次数：
150
jps命令无法找到解决方法 [root@namenode ~]# jpsbash: jps: 无法找到jps命令[root@namenode ~]# find / -name jpsfind: ‘/run/user/1001/gvfs’: Permission denied[root@namenod ...
分类：
系统相关 时间：
2020-03-26 17:50:17
阅读次数：
546
1 环境准备 1.1 修改IP 1.2 修改主机名及主机名和IP地址的映射 1.3 关闭防火墙 1.4 ssh免密登录 1.5 安装JDK，配置环境变量 2 集群规划 节点名称 NN JJN DN ZKFC ZK RM NM linux1 NameNode JournalNode DataNode ...
分类：
其他好文 时间：
2020-03-24 15:39:44
阅读次数：
82
1.NN和2NN工作机制 第一阶段：NameNode启动 (1) 第一次启动NameNode格式化后，创建fsimage和edits文件，如果不是第一次启动，直接加载编辑日志和镜像文件到内存； (2) 客户端对元数据进行增删改的请求； (3) NameNode记录操作日志，更新滚动日志； (4) N ...
分类：
其他好文 时间：
2020-03-24 12:43:15
阅读次数：
87
1.介绍 传统的MySQL复制提供了一种简单的Primary-Secondary复制方法，默认情况下，复制是单向异步的。 MySQL支持两种复制方式：基于行的复制和基于语句的复制。(体现在mysqlbinlog日志的记录方式) 这两种方式都是通过在主库上记录二进制日志（binlog）、在从库重放中继 ...
分类：
数据库 时间：
2020-03-21 23:51:16
阅读次数：
163
InnoDB两大类索引 聚集索引(clustered index) 普通索引(secondary index) InnoDB聚集索引的叶子节点存储行记录，因此， InnoDB必须要有，且只有一个聚集索引 （1）如果表定义了PK，则PK就是聚集索引； （2）如果表没有定义PK，则第一个not NULL ...
分类：
数据库 时间：
2020-03-20 23:46:24
阅读次数：
74
HDFS写数据流程 1.客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已经存在，父目录是否存在； 2.NameNode返回是否可以上传文件； 3.客户端请求一个block上传到指定的那个DataNode服务器上； 4.Nam ...
分类：
其他好文 时间：
2020-03-20 19:52:48
阅读次数：
56
1、hadoop的各种进程及其作用 NameNode：是hdfs的主服务器，管理文件系统的目录树以及对集群中存储文件的访问，保存有metadate，不断读取记录集群中dataNode主机状况和工作状态。 SecondaryNameNode：NameNode的冷备，负责周期性的合并esimage以及e ...
分类：
系统相关 时间：
2020-03-18 18:46:10
阅读次数：
66
