1、介绍一下Hadoop的框架 存储hdfs，计算框架MapReduce，资源管理Yarn 2、简单说下HDFS的读写流程 a、客户端发送请求，调用DistributedFileSystem API的open方法发送请求到Namenode,获取block的位置信息，因为真正的block是存在Data ...
分类：
其他好文 时间：
2018-09-22 19:47:53
阅读次数：
170
配置HDFS联盟，多个NameNode节点同时存活，根据代理配置的路由规则处理客户端不同的请求，实现负载均衡，同时也可以缓存更多的元信息，它与HA的区别在于，联盟是多个NameNode都是active，可以存储更多的元信息。
分类：
其他好文 时间：
2018-09-20 18:02:22
阅读次数：
163
Namenode 开启HA之后,由于zookeeper异常，出现脑裂现象 执行 standby standby 两个互为HA的namenode节点均处于standby 状态，随后执行 强行手工将namenode1状态转换为active PS： serverID即namenodeID，可以访问http ...
分类：
数据库 时间：
2018-09-19 22:02:14
阅读次数：
747
安装完后却不能运行Hadoop，仔细查看日志信息，Hadoop记录了详尽的日志信息，日志文件保存在logs文件夹内。 无论是启动，还是以后会经常用到的MapReduce中的每一个job，以及HDFS等相关信息，Hadoop均存有日志文件以供分析。 例如： NameNode和DataNode的name ...
分类：
其他好文 时间：
2018-09-18 19:53:42
阅读次数：
127
1、列出Hadoop集群的Hadoop守护进程和相关的角色。 Namenode：它运行上Master节点（主节点）上，负责存储的文件和目录所有元数据。它管理文件的块信息，以及块在集群中分布的信息。（管理文件系统的命名空间和客户端对文件的访问操作） Datanode：它是一个存储实际数据的Slave节 ...
分类：
其他好文 时间：
2018-09-17 16:20:36
阅读次数：
294
## Hadoop常用操作 ### 1、Hadoop安装 略 ### 2、Hadoop配置 略 ### 3、Hadoop多目录配置 namenode和datanode节点下都可以进行多个目录的配置，但是意义不同。namenode的多目录配置是副本策略，保证数据可靠性，datanode多目录配置是对容... ...
分类：
其他好文 时间：
2018-09-16 15:57:20
阅读次数：
233
判断题： 1.如果?NameNode?意外终止，SecondaryNameNode?会接替它使集群继续工作。（错误） 分析： SecondaryNameNode是帮助恢复，而不是替代 SecondaryNameNode所做的不过是在文件系统中设置一个检查点来帮助NameNode更好的工作。它不是要取 ...
分类：
其他好文 时间：
2018-09-14 17:18:11
阅读次数：
148
分布式文件系统HDFS 分布式文件系统 分布式文件系统把文件分布存储到多个计算机节点上，成千上万的计算机节点构成计算机集群。 分布式文件系统在物理结构上是由计算机集群中的多个节点构成的，一类叫主节点（Master Node）或被称为名称节点（NameNode） 另一类叫从节点(Slave Node） ...
分类：
其他好文 时间：
2018-09-14 00:03:59
阅读次数：
154
HDFS：分布式文件系统，运行文件通过网络在多台主机分享的文件系统，分块写入(128M)，适用于一次写入多次查询，不支持并发写(只能一块一块写)，小文件不合适。 nameNode(主节点，单个): 保存HDFS的元数据信息(命名空间信息、文件系统的目录树、文件和block关系即文件对应block列表 ...
分类：
其他好文 时间：
2018-09-12 11:12:26
阅读次数：
151
Java内存模型 对hadoop namenode -format执行过程的探究 ...
分类：
编程语言 时间：
2018-09-09 00:43:45
阅读次数：
131
