1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中,HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车:HDFS对应于GFS,即分布式文件系统,MapReduce即并行计算框架,HBase对应于 ...
分类:
其他好文 时间:
2021-03-02 12:20:23
阅读次数:
0
1.用图表描述Hadoop生态系统的各个组件及其关系。 2.阐述Hadoop生态系统中,HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车:HDFS对应于GFS,即分布式文件系统,MapReduce即并行计算框架,HBase对应于 ...
分类:
其他好文 时间:
2021-03-02 12:10:47
阅读次数:
0
面试题 一、Hadoop 1.Hadoop面试题总结(一) 2.Hadoop面试题总结(二)——HDFS 3.Hadoop面试题总结(三)——MapReduce 4.Hadoop面试题总结(四)——YARN 5.Hadoop面试题总结(五)——优化问题 二、Zookeeper 1.Zookeeper ...
分类:
其他好文 时间:
2021-03-02 11:41:45
阅读次数:
0
1. 介绍 Zookeeper 的文件系统 Zookeeper 提供一个多层级的节点命名空间(节点称为 znode)。与文件系统不同的是,这些节点都可以设置关联的数据,而文件系统中只有文件节点可以存放数据而目录节点不行。Zookeeper为了保证高吞吐和低延迟,在内存中维护了这个树状的目录结构,这种 ...
分类:
其他好文 时间:
2021-03-01 13:21:01
阅读次数:
0
四、分布式锁 传统的锁可解决在一台服务器上多个线程之间的并发冲突,但有些场景下多台服务器需要进行同一操作,这时为了协调多台服务器就需要分布式锁(由第三方提供锁)。分布式锁常用的是两种实现方式:使用Redis或Zookeeper。 4.1Redis自带的原语 Redis是一个key value数据库, ...
分类:
其他好文 时间:
2021-03-01 13:19:18
阅读次数:
0
集群角色: leader:负责事务读写操作, follower:读操作,把写操作交给leader,投票 observer:除了不投票几乎和follower一致 ZXID: 分布式事务id,全局唯一,一般作为事务id使用 会话: 每次服务端连接建立,存在一个会话,和服务端的通讯。一般会创建一个零时节点 ...
分类:
其他好文 时间:
2021-03-01 12:59:32
阅读次数:
0
1.windows下调试时需要将hadoop.dll文件放到C:\Windows\System32下,网上很多说改源码的,其实这样也是ok的,不然会报权限错误 Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache. ...
本文作者:HelloGitHub-老荀 Hi,这里是 HelloGitHub 推出的 HelloZooKeeper 系列,免费开源、有趣、入门级的 ZooKeeper 教程,面向有编程基础的新手。 本系列教程是从零开始讲解 ZooKeeper,内容从最基础的安装使用到背后原理和源码的讲解,整个系列希 ...
分类:
其他好文 时间:
2021-02-25 12:19:55
阅读次数:
0
当在终端执行sudo命令时,系统提示“hadoop is not in the sudoers file”: 其实就是没有权限进行sudo,解决方法如下(这里假设用户名是cuser): 1.切换到超级用户:$ su 2.打开/etc/sudoers文件:$vim /etc/sudoers 3.修改文 ...
分类:
其他好文 时间:
2021-02-25 11:47:06
阅读次数:
0
zookeeper zookeeper安装配置 从官网下载zookeeper的安装包:官网推荐的zookeeper镜像下载网站 将zookeeper的压缩包解压到指定安装目录 在zookeeper安装目录新建 data 和 log 文件夹,将conf目录下的 zoo_sample.cfg 文件,复制 ...
分类:
其他好文 时间:
2021-02-23 14:36:36
阅读次数:
0