1.Secondary NameNode目录结构 Secondary NameNode用来监控HDFS状态的辅助后台程序，每隔一段时间获取HDFS元数据的快照。 在/opt/module/hadoop-2.7.2/data/tmp/dfs/namesecondary/current这个目录中查看Se ...
分类：
其他好文 时间：
2019-07-24 13:36:06
阅读次数：
96
一个Applciation运行在YARN上的流程为，从YARN Client向ResourceManager提交任务，将Applciation所需资源提交到HDFS中，然后ResourceManager启动APPMaster，APPMaster通知各个NodeManager启动container执行 ...
分类：
其他好文 时间：
2019-07-24 13:32:03
阅读次数：
106
1.DataNode工作机制 1）一个数据块在datanode上以文件形式存储在磁盘上，包括两个文件，一个是数据本身，一个是元数据（包括数据块的长度，块数据的校验和，以及时间戳）。 2）DataNode启动后向namenode注册，通过后，周期性（1小时）的向namenode上报所有的块信息。 3） ...
分类：
其他好文 时间：
2019-07-24 13:14:11
阅读次数：
108
hdfs：分布式文件系统 有目录结构，顶层目录是： /,存的是文件，把文件存入hdfs后，会把这个文件进行切块并且进行备份，切块大小和备份的数量有客户决定。 存文件的叫datanode，记录文件的切块信息的叫namenode Hdfs的安装 准备四台linux服务器 先在hdp-01上进行下面操作 ...
分类：
其他好文 时间：
2019-07-23 13:33:30
阅读次数：
98
作者|大尊hdfs是hadoop的分布式文件系统，即HadoopDistributedFilesystem。下面主要讲下HDFS设计中的比较重要的点，使读者能通过简短的文章一窥HDFS的全貌，适合对HDFS有一点了解，但是对HDFS又感到困惑的初学者。本文主要参考的是hadoop3.0的官方文档。链接：http://hadoop.apache.org/docs/current/hadoop-pro
分类：
其他好文 时间：
2019-07-23 10:03:46
阅读次数：
159
最近开始学习大数据，发现大数据有很多很多组件，我现在负责的是HDFS（Hadoop分布式储存系统）的学习，整理了一下HDFS的版本情况。因为HDFS是Hadoop的重要组成部分，所以有关HDFS的版本信息我也是通过查看Hadoop官网的每一个版本的Hadoop中HDFS的变化情况得到的，我尽可能的翻 ...
分类：
其他好文 时间：
2019-07-22 11:34:10
阅读次数：
85
简介 Sqoop是一个用来将Hadoop（Hive、HBase）和关系型数据库中的数据相互转移的工具，可以将一个关系型数据库（例如：MySQL ,Oracle ,Postgres等）中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导入到关系型数据库中，但是不能将hbase、hive的数 ...
分类：
其他好文 时间：
2019-07-20 23:17:41
阅读次数：
127
dremio,spark-sql,presto和ranger的整合 当前，ranger没有现成的插件来管理dremio,spark-sql,presto。 暂时使用的方法是新建一个用户，如presto可以创建一个presto用户，然后在ranger中对presto用户赋予hive,hdfs的访问权限 ...
分类：
数据库 时间：
2019-07-19 23:43:34
阅读次数：
188
镜像文件和编辑日志文件 1）概念 namenode被格式化之后，将在/opt/module/hadoop-2.7.2/data/tmp/dfs/name/current目录中产生如下文件 （1）Fsimage文件：HDFS文件系统元数据的一个永久性的检查点，其中包含HDFS文件系统的所有目录和文件i ...
分类：
其他好文 时间：
2019-07-19 21:01:27
阅读次数：
134
剖析HDFS文件写入 假设文件ss.avi共200m，其写入HDFS指定路径/user/atguigu/ss.avi流程如下： 1）客户端向namenode请求上传文件到指定路径，namenode通过元数据检查目标文件是否已存在，父目录是否存在。 2）namenode返回是否可以上传。 3）客户端请 ...
分类：
其他好文 时间：
2019-07-19 17:01:35
阅读次数：
131
