MapReduce程序瓶颈 计算机性能 CPU、内存、磁盘、网络 I/O操作优化 数据倾斜 Map和Reduce数设置不合理 Map运行时间太长，导致Reduce等待过久 小文件过多 大量的不可分块的超大文件 spill次数过多 merge次数过多 MapReduce优化方法 主要从六个方面考虑：数 ...
分类：
其他好文 时间：
2020-03-14 11:21:18
阅读次数：
53
一、MapReduce编程思想 mapReduce编程模型的总结： MapReduce的开发一共有八个步骤其中map阶段分为2个步骤，shuffle阶段4个步骤，reduce阶段分为2个步骤 Map阶段2个步骤 第一步：设置inputFormat类，将我们的数据切分成key，value对，输入到第二 ...
分类：
其他好文 时间：
2020-03-13 19:11:00
阅读次数：
60
什么是Spark SQL？ Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。 我们已经学习了Hive，它是将Hive SQL转换成MapReduce然后提交到集群上执行，大大简化了编写MapRe ...
分类：
数据库 时间：
2020-03-11 10:46:14
阅读次数：
68
[TOC] "MapReduce" 1. "1、MapReduce" 1. "1、介绍" 1. "2、编程模型" 1. "3、实现" 1. "4、容错机制" 1. "5、技巧" 1. "6、思考" MapReduce 本文只对论文中对分布式设计的相关算法做总结交流 1、介绍 MapReduce是谷歌 ...
分类：
其他好文 时间：
2020-03-11 10:40:01
阅读次数：
51
[toc] 1. "Kafka简介" Kafka是一种计算框架，结合了之前的MapReduce批处理和流式计算为一体，可以处理历史数据和实时数据。 流平台具有三个关键功能： 发布和订阅记录流，类似于消息队列或企业消息传递系统。 以容错的持久方式存储记录流。 处理记录流。 Kafka通常用于两大类应用 ...
分类：
其他好文 时间：
2020-03-07 21:04:52
阅读次数：
77
MapReduce 基于HDFS 1.环境搭建起来 伪分布式2.MapReduce是基于HDFS之上的 MapReduce计算的内容应该是HDFS上的文件/文件夹3.计算=>统计=>Mapper阶段=>Reduce阶段 MapReduce的编程模型4.Mapper类 继承Mapper类 重写Mapp ...
分类：
其他好文 时间：
2020-03-07 00:12:42
阅读次数：
69
一、环境准备 1.添加插件到eclipse plugins目录下就可以了 2.把Window编译后的hadoop的文件放到 hadoop的bin目录下 3.配置环境变量 HADOOP_HOME=E:\hadoop\hadoop-2.7.7 Path=%HADOOP_HOME%\bin;%HADOOP ...
分类：
其他好文 时间：
2020-03-06 17:32:14
阅读次数：
84
简单地说，MapReduce就是"任务的分解与结果的汇总"。 MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 hadoop 的数据分析 应用”的核心框架。MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各 ...
分类：
其他好文 时间：
2020-03-06 11:21:35
阅读次数：
60
Bitmap 问题给40亿个不重复的unsigned int的整数，没排过序的，然后再给一个数，如何快速判断这个数是否在那40亿个数当中？方案1：用位图/Bitmap的方法，申请512M的内存，一个bit位代表一个unsigned int值。读入40亿个数，设置相应的bit位，读入要查询的数，查看相 ...
分类：
数据库 时间：
2020-03-05 22:26:22
阅读次数：
114
一、下载hadoop-eclipse-plugin-2.7.3.jar插件放到eclipse的plugins的目录下 二、把Window编译后的hadoop的文件放到 hadoop的bin目录下 三、添加环境变量的支持 HADOOP_HOME=e:hadoop/hadoop-2.7.7 Path=% ...
分类：
其他好文 时间：
2020-03-05 10:35:29
阅读次数：
71
