码迷,mamicode.com
首页 > 其他好文 > 详细

1、Hadoop常见问题

时间:2020-07-03 00:53:22      阅读:83      评论:0      收藏:0      [点我收藏+]

标签:通信   apach   节点   路径   conda   作用   hadoop配置   工作   edits   

1、简要描述如何安装配置一个apache开源版hadoop,描述即可

(1)解压Hadoop

(2)配置JDK,防火墙、Hadoop环境

(3)修改Hadoop配置

(4)格式化namenode,对数据缓存的的路径进行格式化

(5)启动Hadoop

 

2、请列出正常工作的hadoop集群中hadoop都需要启动哪些进程,他们的作用分别是什么

--namenode =>HDFS的守护进程,负责维护整个文件系统,存储着整个文件系统的元数据信息,有image+edit log namenode不会持久化存储这些数据,而是在启动时重建这些数据。

--datanode =>是具体文件系统的工作节点,当我们需要某个数据,namenode告诉我们去哪里找,就直接和那个DataNode对应的服务器的后台进程进行通信,由DataNode进行数据的检索,然后进行具体的读/写操作

--secondarynamenode =>一个冗余的守护进程,相当于一个namenode的元数据的备份机制,定期的更新,和namenode进行通信,将namenode上的image和edits进行合并,可以作为namenode的备份使用

--resourcemanager =>是yarn平台的守护进程,负责所有资源的分配与调度,client的请求由此负责,监控nodemanager

--nodemanager => 是单个节点的资源管理,执行来自resourcemanager的具体任务和命令

 

1、Hadoop常见问题

标签:通信   apach   节点   路径   conda   作用   hadoop配置   工作   edits   

原文地址:https://www.cnblogs.com/whxiao/p/13227959.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!