本周因为一些原因实际开发时间过于零散，因而开发报告未按每日进行总结 但是本周进展也说不上多，这点不太好 花在学习上：20小时 花在代码上：15小时 花在解决问题上：9小时 本周遇到的问题：Hadoop可以正常启动 但是Namenode无法通过浏览器访问(连接被拒绝)，离谱的是Secondary Na ...
分类：
其他好文 时间：
2020-11-12 13:43:39
阅读次数：
7
Hadoopnamenode高可用性分析：QJM核心源代码解读背景介绍HDFSnamenode在接受写操作时会记录日志，最早HDFS日志写本地，每次重启或出现故障后重启，通过本地镜像文件＋操作日志，就能还原到宕机之前的状态，不会出现数据不一致。如果要做高可用(HA)，日志写在单个机器上，这个机器磁盘出现问题，重启就恢复不了，导致数据不一致，出现的现象就是新建的文件不存在，删除成功的还在等诡异现象。
分类：
其他好文 时间：
2020-11-07 17:00:30
阅读次数：
24
1.前言在Java中一提到随机数，很多人就会想到Random类，如果有生成随机数的需求的时候，大多数时候都会选择使用Random来进行随机数生成,虽然其内部使用CAS来实现，但是在多线程并发的情况下的时候它的表现并不是很好。在JDK1.7之后，JDK提供了提供了更好的解决方案，接下来让我们一起学习下到底为什么Random会慢？又是怎么解决的呢？2.RandomRandom这个类是JDK提供的用来生
分类：
编程语言 时间：
2020-10-29 10:47:54
阅读次数：
47
在单点或者少数节点故障的情况下，集群还可以正常的提供服务，HDFS高可用机制可以通过配置Active/Standby两个NameNodes节点实现在集群中对NameNode的热备来消除单节点故障问题，如果单个节点出现故障，可通过该方式将NameNode快速切换到另外一个节点上。
分类：
其他好文 时间：
2020-10-29 09:35:04
阅读次数：
15
配置集群 配置yarn-env.sh Linux系统中获取JDK的安装路径 [xiaoran@hadoop101 hadoop-2.7.2]$ echo $JAVA_HOME /opt/module/jdk1.8.0_144 修改JAVA_HOME路径 [xiaoran@hadoop101 hado ...
分类：
其他好文 时间：
2020-10-27 11:36:17
阅读次数：
28
DataNode上数据块以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是数据块元数据包括长度、校验、时间戳；
DataNode启动后向NameNode服务注册，并周期性的向NameNode上报所有的数据块元数据信息；
分类：
其他好文 时间：
2020-10-21 20:51:41
阅读次数：
21
NameNode运行时元数据需要存放在内存中，同时在磁盘中备份元数据的fsImage，当元数据有更新或者添加元数据时，修改内存中的元数据会把操作记录追加到edits日志文件中，这里不包括查询操作。如果NameNode节点发生故障，可以通过FsImage和Edits的合并，重新把元数据加载到内存中，此时SecondaryNameNode专门用于fsImage和edits的合并。
分类：
其他好文 时间：
2020-10-12 20:32:44
阅读次数：
26
在flink集群中提交了一个job报错如下大概看出是没有DataNode，这让人很奇怪 通过jps命令在主节点看到了namenode，但是在DataNode端执行jps没有DataNode [root@devopes ~]# jps 5347 TaskManagerRunner 18788 Name ...
分类：
其他好文 时间：
2020-09-18 17:26:11
阅读次数：
71
一、过程 1、修改配置文件 vim etc/hadoop/hdfs-site.xml <property> <name>dfs.datanode.data.dir</name> <value>file:///${hadoop.tmp.dir}/dfs/data1,file:///${hadoop.t ...
分类：
其他好文 时间：
2020-09-15 21:01:05
阅读次数：
37
/* SPDX-License-Identifier: BSD-3-Clause * Copyright(c) 2010-2014 Intel Corporation */ #include <stdio.h> #include <string.h> #include <stdint.h> #inc ...
分类：
其他好文 时间：
2020-09-14 18:59:42
阅读次数：
32
