无论对Spark集群，还是Hadoop集群等大数据相关的集群进行调优，对linux系统层面的调优都是必不可少的，这里主要介绍3种常用的调优和linux常见面试题 ...
分类：
系统相关 时间：
2020-10-20 16:23:11
阅读次数：
36
1.用自己的图，描述HDFS体系结构、工作原理与流程。 2.伪分布式安装Hadoop （1）创建hadoop用户 （2）更新apt （3）安装SSH ，配置无密码SSH登录 （4）安装JAVA环境 （5）安装 Hadoop 2.7.1 （6）Hadoop伪分布式配置 （7）运行Hadoop伪分布式实 ...
分类：
其他好文 时间：
2020-10-18 09:54:43
阅读次数：
16
实验目的 ? 在 Linux（VM15pro/CentOS8） 环境下完成Hadoop-3.2.1伪分布式环境的搭建，并运行 Hadoop 自带的 WordCount 实例检测是否运行正常。 一、下载并配置java环境 ? Java 环境可选择 Oracle 的 JDK，或是 OpenJDK，现在一 ...
分类：
其他好文 时间：
2020-10-18 09:51:46
阅读次数：
25
到http://mirror.bit.edu.cn/apache/hbase/下载对应的Hbase版本 我这里下载的是hbase-2.2.6-bin.tar.gz版本，是较稳定的版本。 解压： tar -zxvf /home/hadoop/桌面/hbase-2.2.6-bin.tar.gz 移动位置 ...
分类：
系统相关 时间：
2020-10-18 09:47:54
阅读次数：
26
一.Confd介绍Confd是一个集中化配置管理系统，一方面提供统一的本地配置管理，使用etcd或consul存储的数据渲染模板，还支持redis、zookeeper等，另一方面提供配置变更的自动下发，及时生效配置文件。二.confd的部署1.本次测试部署架构etcd保存配置数据confd：confd有一个watch功能，通过HTTPAPI定期监测对应的etcd中目录变化，获取最新的Value，然
分类：
其他好文 时间：
2020-10-18 09:31:26
阅读次数：
21
环境介绍： 单条linux上部署了三个zk服务，组成一个zk服务集群， 需求： 三个zk启动后，想查看每个zk的状态，用 ./zkServer.sh status 查看状态，只会显示最后一个启动的服务状态， ，可查看前面两个启动的zk状态怎么办呢？ 解决办法： 在 ./zkServer.sh sta ...
分类：
系统相关 时间：
2020-10-16 11:30:49
阅读次数：
52
这是一份涵盖了Java相关29个技能的Java架构进阶学习资料,绝对是全网最好全完整的一个学习文档资料了。下面给大家介绍一下这份【BAT面试手册】都有哪些知识点的详细解析。 需要领取完整版的老铁请转发+关注，然后添加我的VX（tkzl6666）获得免费领取方式! 1、JVM 线程 JVM内存区域 J ...
分类：
编程语言 时间：
2020-10-16 10:27:24
阅读次数：
24
1、机器列表及相关设计 服务器编号 服务器IP地址 LF通信端口 LF选举端口 客户端端口 1 192.168.229.131 2010 6008 2180 2 192.168.229.134 2010 6008 2180 3 192.168.229.133 2010 6008 2180 由于是在三 ...
分类：
其他好文 时间：
2020-10-13 17:42:43
阅读次数：
23
NameNode运行时元数据需要存放在内存中，同时在磁盘中备份元数据的fsImage，当元数据有更新或者添加元数据时，修改内存中的元数据会把操作记录追加到edits日志文件中，这里不包括查询操作。如果NameNode节点发生故障，可以通过FsImage和Edits的合并，重新把元数据加载到内存中，此时SecondaryNameNode专门用于fsImage和edits的合并。
分类：
其他好文 时间：
2020-10-12 20:32:44
阅读次数：
26
