原文： https://www.toutiao.com/i6764683672772674062/ 在进入Map之前，首先会将数据从HDFS中读取，进行处理，按照字节偏移量这种之前说的形式处理为K,V对的形式，进入Map阶段。 其中InputFormat可以认为是一种类的继承关系，最终通过调用rea ...
分类：
其他好文 时间：
2020-03-20 00:45:41
阅读次数：
69
1、hadoop的各种进程及其作用 NameNode：是hdfs的主服务器，管理文件系统的目录树以及对集群中存储文件的访问，保存有metadate，不断读取记录集群中dataNode主机状况和工作状态。 SecondaryNameNode：NameNode的冷备，负责周期性的合并esimage以及e ...
分类：
系统相关 时间：
2020-03-18 18:46:10
阅读次数：
66
hdfs有点：高容错性。自动保存多个副本，副本丢失自动恢复，文件处理规模大，可以放置在廉价的机器上面 缺点：hdfa对每一个小文件都有记录，无论大小都会占用内存解决方法是合并处理，不适合低延时的数据访问 文件块的大小决定于磁盘的数据传输效率：一般的是128mb，老版本是64mb，本地模式是32mb， ...
分类：
其他好文 时间：
2020-03-16 13:14:29
阅读次数：
72
总结一下大数据开发基本常识： JDK（做java开发必备的开发工具包） Hadoop（Apache开发的分布式系统的基础框架）三大组件：MapReduce，Yarn，Hdfs Sqoop（数据迁移，清洗） Kettle（数据清洗，格式转换） Hive（基于Hadoop的数据仓库，并不是数据库，需要安 ...
分类：
系统相关 时间：
2020-03-15 22:17:01
阅读次数：
90
1.概述 最近有同学留言咨询，Flink消费Kafka的一些问题，今天笔者将用一个小案例来为大家介绍如何将Kafka中的数据，通过Flink任务来消费并存储到HDFS上。 2.内容 这里举个消费Kafka的数据的场景。比如，电商平台、游戏平台产生的用户数据，入库到Kafka中的Topic进行存储，然 ...
分类：
其他好文 时间：
2020-03-15 18:59:04
阅读次数：
159
一.文件操作 文件操作 类似于正常的linux操作前面加上“hdfs dfs -” 前缀也可以写成hadoop而不用hdfs,但终端中显示 Use of this script to execute hdfs command is deprecated. Instead use the hdfs c ...
分类：
其他好文 时间：
2020-03-14 21:57:13
阅读次数：
58
本周花费较多时间在手头的一个深度学习项目上，对于java的实战仅限于课堂的练习代码。 本周所花上机时间27小时，代码量共计1760行，其中，java代码940行，python代码820行。 本周发表博客三篇（关于HDFS分布式文件系统2篇，课堂实战项目一篇） 本周学到的内容有： （1）redis集群 ...
分类：
其他好文 时间：
2020-03-14 19:55:54
阅读次数：
47
一、MapReduce编程思想 mapReduce编程模型的总结： MapReduce的开发一共有八个步骤其中map阶段分为2个步骤，shuffle阶段4个步骤，reduce阶段分为2个步骤 Map阶段2个步骤 第一步：设置inputFormat类，将我们的数据切分成key，value对，输入到第二 ...
分类：
其他好文 时间：
2020-03-13 19:11:00
阅读次数：
60
首先要了解的是，HDFS采用的是主从架构，即一个主节点（名称节点），多个从节点（数据节点），主节点起到管家作用，负责提供数据目录服务，从节点都是数据节点负责数据存储。 我们都知道文件系统中都是有命名空间的概念的，HDFS也不例外，它的命名空间只有一个，里面包含了目录、文件、块，它的使用和传统的文件体 ...
分类：
其他好文 时间：
2020-03-11 15:42:50
阅读次数：
86
1.1.1 永久性数据结构 namenode的目录结构如下图 （1） VERSION属性文件 namespaceid文件系统命名空间唯一标识。 clusterID是将HDFS集群作为一个整体赋予的唯一标识符。 blockpoolID是数据块池的唯一标识。 CTime是namenode存储系统创建时间 ...
分类：
其他好文 时间：
2020-03-11 10:58:32
阅读次数：
49
