（1）Hadoop1.x和2.x之间的区别 Hadoop 1.0内核主要由两个分支组成：MapReduce和HDFS，在高可用、扩展性等方面存在问题 1）HDFS存在的问题 1.NameNode单点故障，难以应用于在线场景。 2.NameNode压力过大，且内存受限，影响扩展性。 2）MapRedu ...
分类：
其他好文 时间：
2020-03-28 17:42:52
阅读次数：
69
1.1 业务数据全部存储在datanode上面，所以datanode的存储空间必须足够大，且每个datanode的存储空间尽量保持一致。1.2 管理节点/namenode对存储空间要求不高，主要存储各计算节点datanode的元数据信息，以3个datanode为例，每个datanode存储2T的数据... ...
分类：
其他好文 时间：
2020-03-27 23:28:42
阅读次数：
150
jps命令无法找到解决方法 [root@namenode ~]# jpsbash: jps: 无法找到jps命令[root@namenode ~]# find / -name jpsfind: ‘/run/user/1001/gvfs’: Permission denied[root@namenod ...
分类：
系统相关 时间：
2020-03-26 17:50:17
阅读次数：
546
1 环境准备 1.1 修改IP 1.2 修改主机名及主机名和IP地址的映射 1.3 关闭防火墙 1.4 ssh免密登录 1.5 安装JDK，配置环境变量 2 集群规划 节点名称 NN JJN DN ZKFC ZK RM NM linux1 NameNode JournalNode DataNode ...
分类：
其他好文 时间：
2020-03-24 15:39:44
阅读次数：
82
1.NN和2NN工作机制 第一阶段：NameNode启动 (1) 第一次启动NameNode格式化后，创建fsimage和edits文件，如果不是第一次启动，直接加载编辑日志和镜像文件到内存； (2) 客户端对元数据进行增删改的请求； (3) NameNode记录操作日志，更新滚动日志； (4) N ...
分类：
其他好文 时间：
2020-03-24 12:43:15
阅读次数：
87
ncr_conntrack调优实践 女主宣言 该文章出自HULK虚拟化团队（网络小分队），主要是基于在奥创版本升级过程中遇到的一个nf_conntrack问题展开的。该问题在日常开启了iptables的高并发运维场景中也会经常出现。该文章主要是结合实际场景分析了nf_conntrack模块存储在ha ...
分类：
其他好文 时间：
2020-03-23 20:27:43
阅读次数：
69
/h：启动正常的debug。 在命令栏输入/h，然后回车即可。 /hs：启动系统debug(system debug)，可以debug系统程序。 /ha: 与/h类似，只不过/ha debug会跳过所有的屏幕screen， 以上。 ...
分类：
其他好文 时间：
2020-03-20 22:24:30
阅读次数：
78
HDFS写数据流程 1.客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已经存在，父目录是否存在； 2.NameNode返回是否可以上传文件； 3.客户端请求一个block上传到指定的那个DataNode服务器上； 4.Nam ...
分类：
其他好文 时间：
2020-03-20 19:52:48
阅读次数：
56
1、hadoop的各种进程及其作用 NameNode：是hdfs的主服务器，管理文件系统的目录树以及对集群中存储文件的访问，保存有metadate，不断读取记录集群中dataNode主机状况和工作状态。 SecondaryNameNode：NameNode的冷备，负责周期性的合并esimage以及e ...
分类：
系统相关 时间：
2020-03-18 18:46:10
阅读次数：
66
记录一下对CAP的理解，CAP理论是分布式系统的基本理论，已得到证明，分布式系统最多只能满足其中的两个。 CAP基本概念 CAP是三个特性关键字的简写。 （1）C：Consistency，一致性 （2）A：Availability，可用性 （3）P：Partition tolerance，分区容忍性 ...
分类：
其他好文 时间：
2020-03-17 19:52:18
阅读次数：
97
