主从结构 主节点， namenode 从节点，有很多个: datanodenamenode负责： 接收用户操作请求 维护文件系统的目录结构 管理文件与block之间关系，block与datanode之间关系datanode负责： 存储文件 文件被分成block存储在磁盘上 为保证数据安全，文件会有多 ...
分类：
其他好文 时间：
2018-04-11 21:37:24
阅读次数：
182
首先安装hadoop要安装好java的开发环境，配置好jdk其实创建一个hadoop的用户cd到这个用户的目录下创建一个apps的目录。以后所有的东西都解压进入apps解压后的目录中的文件如下这里lib是本地的库！bin是自己的操作命令，sbin是启动命令！etc是配置文件include是本地库的头文件！我们的jar包在share文件中！下图是share包中的目录剩下就在前面的etc/hadoop
分类：
其他好文 时间：
2018-04-08 18:27:15
阅读次数：
303
原来namenode只有一个，所以存在单点风险 后来改用主从namenode，主挂了，自动切换到被namenode 一个高可用系统中，所有组件都要是高可用的，下面这个系统里面 zk，zkfc和journalnode都是高可用的 怎么做到自动切换？ 通过zookeeper和zkfc(zookeeper ...
分类：
其他好文 时间：
2018-04-08 15:57:17
阅读次数：
169
Hadoop的两大功能：海量数据存储和海量数据分析 Hadoop2的三大核心组件是：HDFS、MapperReducer和yarn 1、HDFS：分布式文件系统海量数据存储 2、MapperReducer：运算框架，海量数据分析 3、yarn：资源调度管理集群 HDFS工作机制：基于namenode ...
分类：
其他好文 时间：
2018-04-07 12:51:32
阅读次数：
115
YARN的核心组件： 1）ResourceManager，扮演Master角色（和HDFS的nameNode很像）主要用于资源分配；RM有两个子组件，分别是Scheduler（Capacity Scheduler以及Fair Scheduler）以及ApplicationManager，主要用于管理 ...
分类：
其他好文 时间：
2018-04-05 23:13:25
阅读次数：
277
1> 删除Agent节点的UUID # rm -rf /opt/cm-5.12.0/lib/cloudera-scm-agent/* 2> 清空主节点CM数据库 进入主节点的Mysql数据库，然后drop database cm; 3> 删除Agent节点namenode和datanode节点信息 ...
分类：
其他好文 时间：
2018-04-05 01:30:50
阅读次数：
275
简单介绍使用java控制hdfs文件系统 一、注意namenode端访问权限，修改hdfs-site.xml文件或修改文件目录权限 本次采用修改hdfs-site.xml用于测试，在configuration节点中添加如下内容 二、本次使用eclipse环境新建项目完成测试 使用手动添加jar包完成 ...
分类：
编程语言 时间：
2018-03-30 20:01:44
阅读次数：
163
前提 1、HBase 依赖于 HDFS 做底层的数据存储 2、HBase 依赖于 MapReduce 做数据计算 3、HBase 依赖于 ZooKeeper 做服务协调 4、HBase源码是java编写的，安装需要依赖JDK 版本选择 打开官方的版本说明http://hbase.apache.org ...
分类：
其他好文 时间：
2018-03-29 19:17:17
阅读次数：
258
Hadoop 概述和结构 1. Hadoop 构成 Hadoop 是有两部分构成一个是分布式计算框架MapReduce另一个是分布式存储框架HDFS. 2.HDSF HDFS 是一个Master-Slave结构,其有一个NameNode和多个DataNode,组成,NameNode主要记录HDSF上 ...
分类：
其他好文 时间：
2018-03-28 18:48:54
阅读次数：
189
HDFS Namenode&Datanode HDFS 机制粗略示意图 客户端写入文件流程： NN && DN Namenode（NN）工作机制 NN是整个文件系统的管理节点。维护着整个文件系统的文件目录树，文件/目录的元信息和每个文件对应的数据块列表（管理元数据）。接收用户的操作请求。 fsima ...
分类：
其他好文 时间：
2018-03-24 16:27:20
阅读次数：
173
