hadoop完全分布式集群有一般集群和HA高可用集群 一般集群只有一个namenode节点，当namenode节点出现故障时，整个集群将无法使用。因此，相对的出现了HA集群 HA集群具有主备切换机制，有两个namenode节点，active/standby namenode，两个节点元数据同步， 当 ...
分类：
其他好文 时间：
2020-05-23 20:27:21
阅读次数：
63
hadoop namenode的工作机制 https://blog.csdn.net/u010846741/article/details/52369527 《Hadoop管理一》checkpoint原理和过程 Standby Namenode Checkpoint过程剖析 ...
分类：
其他好文 时间：
2020-05-23 12:59:51
阅读次数：
51
当 Hadoop的NameNode节点启动时，会进入安全模式阶段。在此阶段，DataNode会向NameNode上传它们数据块的列表，让NameNode得到块的位置信息，并对每个文件对应的数据块副本进行统计。当最小副本条件满足时，即一定比例的数据块都达到最小副本数，系统就会退出安全模式，而这需要一定 ...
分类：
其他好文 时间：
2020-05-22 17:16:55
阅读次数：
71
公司测试环境的namenode出现损坏启动不了。 一开始是因为把机器的dfs目录改成了权限777，后来百度了下发现755才可以。 修改完发现namenode启动过程一直报edits文件里面存在文件丢失。 通过下面两个命令进行对edits转换成xml 修改内部不存在文件为OP_SET_PERMISSI ...
分类：
其他好文 时间：
2020-05-17 19:10:24
阅读次数：
82
原因： 1.防火墙没关闭（对应端口没有打开） 2.hadoop集群没有启动成功 3.hadoop集群处于安全模式 4.网络问题 解决方案： 1.关闭防火墙 2.jps查看进程，出现下面几个进程则启动成功。 hdfs三个进程中，datanode和namenode只有一个启动成功，可能是namenode ...
分类：
编程语言 时间：
2020-05-15 13:11:20
阅读次数：
271
背景目前项目在移动端上，首推使用微信小程序。各项目的小程序访问数据有必要进行采集入库，方便后续做统计分析。虽然阿拉丁后台也提供了趋势分析等功能，但在众多的个小程序情况下一个个查找获取数据然后做数据分析也是很痛苦的一件事情。通过将数据转换成sql持久化到数据库上，为后面的数据分析和展示提供了基础。实现思路阿拉丁产品分开放平台和统计平台两个产品线，目前开放平台有api及配套的文档http://doc.
分类：
编程语言 时间：
2020-05-10 10:26:25
阅读次数：
84
一开始我就以为 oplog 应该就类似于 mysql bin-log 而事实上，确实差不多。oplog 也是用于复制集间由 Primary 记录，Secondary 用来同步。从而保持数据一致。 最近遇到了误删db（删库不能跑路）的事情，所以，实验了N多次的 oplog 恢复数据。 特地记录一下，以 ...
分类：
数据库 时间：
2020-05-06 13:52:34
阅读次数：
90
搭建LB负载均衡和keepalived一、环境优化LB1[root@localhost~]#hostnamectlset-hostnamelb1[root@localhost~]#su//修改主机名[root@lb1~]#systemctlstopNetworkManager//关闭NetworkManage服务[root@lb1~]#systemctldisableNetworkManagerR
分类：
其他好文 时间：
2020-05-05 21:51:32
阅读次数：
70
一、基本概念 1、副本集：一个副本集就是一组MongoDB实例组成的集群，由一个主（Primary）服务器和多个备份（Secondary）服务器构成 2、主节点（master）：主节点接收所有写入操作。主节点将对其数据集所做的所有更改记录到其 oplog。 3、副节点（secondary）：复制主节 ...
分类：
数据库 时间：
2020-04-21 14:48:46
阅读次数：
291
如何对NameNode中数据持久化 FsImage：保存NameNode当前这一时刻数据状态 Editslog：日志文件，只记录client到hdfs写操作（二进制文件） Editslog和FsImage会定期合并，这项任务由SecondNameNode执行，当在合并的时候，客户端执行的写操作不再写 ...
分类：
其他好文 时间：
2020-04-18 12:14:46
阅读次数：
64
