最近开始学习大数据，发现大数据有很多很多组件，我现在负责的是HDFS（Hadoop分布式储存系统）的学习，整理了一下HDFS的版本情况。因为HDFS是Hadoop的重要组成部分，所以有关HDFS的版本信息我也是通过查看Hadoop官网的每一个版本的Hadoop中HDFS的变化情况得到的，我尽可能的翻 ...
分类：
其他好文 时间：
2019-07-22 11:34:10
阅读次数：
85
Hadoop 2.0产生背景 Hadoop 1.0中HDFS和MapReduce在高可用、扩展性等方面存在问题 HDFS存在的问题(2个) NameNode单点故障，难以应用于在线场景 HA NameNode压力过大，且内存受限，影扩展性 F MapReduce存在的问题响系统 JobTracker ...
分类：
其他好文 时间：
2019-07-14 15:21:20
阅读次数：
68
hdfs基准测试：磁盘读写性能测试hadoopjar./hadoop-mapreduce-client-jobclient-2.7.2.3.jarTestDFSIO-read-nrFiles10-fileSize10MBhadoopjar./hadoop-mapreduce-client-jobclient-2.7.2.3.jarTestDFSIO-write-nrFiles10-fileSize
分类：
其他好文 时间：
2019-07-02 13:30:39
阅读次数：
171
一、项目问题 1 做了哪些项目2 使用什么技术3 哪个是你主导的项目，一共开发多少个接口，项目多长时间，数据库有多少个表 二、技术问题 1 用自己擅长的语言实现非递归单链表反转 现场手写2 Hadoop和spark的主要区别3 Hadoop中一个大文件进行排序，如何保证整体有序？sort只会保证单个 ...
分类：
其他好文 时间：
2019-06-17 20:41:10
阅读次数：
677
MapReduce表连接操作之Map端join https://blog.csdn.net/lzm1340458776/article/details/42971075 MapReduce表连接操作之Reduce端join https://blog.csdn.net/lzm1340458776/ar ...
分类：
其他好文 时间：
2019-06-15 13:39:34
阅读次数：
143
SNN是用来保存namenode中对HDFS metadata的信息的备份，并减少namenode重启的时间，SNN进程默认运行在 namenode 机器上，如果这台机器出错，宕机，对恢复HDFS文件系统是很大的灾难，因此最佳方式是将SNN进程配置在另外一台机器上运行。 在hadoop中，namen ...
分类：
其他好文 时间：
2019-06-11 22:17:14
阅读次数：
234
在Hadoop中，有一些命名不好的模块，Secondary NameNode是其中之一。从它的名字上看，它给人的感觉就像是NameNode的备份。但它实际上却不是。很多Hadoop的初学者都很疑惑，Secondary NameNode究竟是做什么的，而且它为什么会出现在HDFS中。 从它的名字来看， ...
分类：
其他好文 时间：
2019-06-09 23:43:00
阅读次数：
125
1实现接口->WritableCompareable 排序操作在hadoop中属于默认的行为。默认按照字典殊勋排序。 2 排序的分类： 1）部分排序 2）全排序 3）辅助排序 4）二次排序 3 案例： 在流量汇总输出文件里的数据 进行分区，每个分区中的数据进行排序 数据预览，这里只是进行了流量的汇总 ...
分类：
编程语言 时间：
2019-05-07 23:03:12
阅读次数：
224
1.在hive中是可以删除文件的： 2.hive 中的default数据库 用default数据库创建表时，数据目录会在/user/hive/warehouse下3.显示表头和默认数据库信息 默认的都是false，修改为true 验证查询： 启动时配置信息： 查看所有的设置信息： 查看一个属性值： ...
分类：
其他好文 时间：
2019-04-02 22:49:00
阅读次数：
196
很多人不明白传统架构和Hadoop的区别，下面一张图让你清晰的了解传统架构和Hadoop的区别。 上图已经表达的很清楚了我就不再一一讲解，主要讲以下横向扩展和扩展。横向扩展：（Mpp 是hash分布，具有20节点）添加新的设备和现有的设备一起提供负载能力。Hadoop中系统扩容时，系统平台增加新节点 ...
分类：
其他好文 时间：
2019-03-20 10:32:03
阅读次数：
154
