一：MapReduce框架 （结合YARN框架） 补充：MapReduce框架知道我们写的map-reduce程序的运行逻辑。我们写的map-reduce中并没有管理层的任务运行分配逻辑，该逻辑被封装在MapReduce框架里面，被封装为MRAppMaster类，该类用于管理整个map-reduce ...
分类：
其他好文 时间：
2020-02-24 18:50:55
阅读次数：
71
承接上文：Hadoop基础 流量求和MapReduce程序及自定义数据类型 一：实验数据 对上一篇文章中的数据进行排序处理： 13480253104 180 200 380 13502468823 102 7335 7437 13560439658 5892 400 6292 13600217502 ...
分类：
编程语言 时间：
2020-02-23 20:01:26
阅读次数：
85
序言 MapReduce是一种编程模型，用于大规模数据集（大于1TB）的并行运算。概念"Map（映射）"和"Reduce（归约）"，是它们的主要思想。 MapReduce产生背景 如果让你统计日志里面的出现的某个URL的总次数，让你自己去写个单机版的程序，写个逻辑：无非就是读这个文件一行,然后把那个 ...
分类：
其他好文 时间：
2020-02-23 11:52:43
阅读次数：
68
一、HDFS的简介及优缺点 HDFS（Hadoop Distributed File System）是hadoop生态系统的一个重要组成部分，是hadoop中的的存储组件，在整个Hadoop中的地位非同一般，是最基础的一部分，因为它涉及到数据存储，MapReduce等计算模型都要依赖于存储在HDFS ...
分类：
其他好文 时间：
2020-02-23 11:48:58
阅读次数：
77
Spark 集群模式 系统当前支持几种集群管理器： Standalone – 包含在spark中的一个简单集群管理器，它使得设置一个集群很容易。 Apache Mesos – 一个通用集群管理器，也能运行Hadoop MapReduce 和 service 应用。 Hadoop YARN – the ...
分类：
其他好文 时间：
2020-02-22 14:09:44
阅读次数：
86
大致可以将大数据的计算引擎分成了 4 代。 1、第一代的计算引擎，无疑就是Hadoop承载的MapReduce。它将每个JobApp都被设计为两个阶段，分别为Map和Reduce。对于上层应用来说，就不得不想方设法去拆分算法，甚至于不得不在 上层应用实现多个App的串联 ，才能完成一个完整的算法，例 ...
分类：
其他好文 时间：
2020-02-21 12:50:43
阅读次数：
77
引自[https://www.iteye.com/blog/langyu 992916] shuffle的意义有三点： 1.把map task端的数据完整传输到reduce task端 2.减少不必要的宽带消耗 3.减少磁盘IO消耗 首先把Shuffle理解为map的shuffle和reduce的s ...
分类：
其他好文 时间：
2020-02-20 13:13:52
阅读次数：
65
一、相关知识回顾 分布式文件存储 信息源： 购买信息元（对海量数据清洗） 自营提供（限于大公司） 爬虫、抓包 信息格式：文件、文本、sql、json 分布式计算 离线批处理 MapReduce spark 实时数据流 storm spark Sqoop数据迁移：hdfs mysql flume数据上 ...
分类：
其他好文 时间：
2020-02-19 10:28:03
阅读次数：
94
1.1.1 map端连接-CompositeInputFormat连接类 （1）使用CompositeInputFormat连接类需要满足三个条件： 1）两个数据集都是大的数据集，不能用缓存文件的方式。 2）数据集都是按照相同的键进行排序； 3）数据集有相同的分区数，同一个键的所有记录在同一个分区中 ...
分类：
其他好文 时间：
2020-02-19 01:08:59
阅读次数：
59
1.问题描述：在调试mapreduce辅助排序（二次排序）的过程中，运行程序总是报错 Ignoring exception during close for org.apache.hadoop.mapred.MapTask$NewOutputCollector@1398c56java.lang.Nu ...
分类：
编程语言 时间：
2020-02-19 01:00:54
阅读次数：
103
