1.1 MapReduce定义 MapReduce 是一个分布式运算程序的编程框架，是用户开发“基于 Hadoop 的数据分析 应用”的核心框架。 MapReduce 核心功能是将用户编写的业务逻辑代码和自带默认组件整合成一个完整的分布式运算程序，并发运行在一个 Hadoop 集群上。 1.2 Ma ...
分类：
其他好文 时间：
2021-04-05 12:32:51
阅读次数：
0
页面点击下载查询数据库数据写入到SXSSFWorkbook（工作簿）中的`Sheet sheet = xswb.createSheet();`（工作表） 前端发送请求到servlet，把需要的参数传递到后台【我这里把response对象也封装到了(EiInfo inInfo)对象中】（此步骤省略.. ...
分类：
编程语言 时间：
2021-03-31 12:24:47
阅读次数：
0
数组作为函数参数传递的时候，会退化为指针，并不能得到数组的大小 一 void test1(int a[]) { cout << sizeof(a) << endl; } int main() { int a[4]; test1(a); } 输出结果是指针的大小，并不是数组的大小 二 void tes ...
分类：
编程语言 时间：
2021-03-18 14:12:35
阅读次数：
0
前言 接上文，复习整理大数据相关知识点，这章节从MapReduce开始... MapReduce介绍 MapReduce思想在生活中处处可见。或多或少都曾接触过这种思想。MapReduce的思想核心是“分而治之”，适用于大量复杂的任务处理场景（大规模数据处理场景）。 Map负责“分”，即把复杂的任务 ...
分类：
其他好文 时间：
2021-03-17 15:09:28
阅读次数：
0
一、FROM指令 第一条命令必须是FROM,表示需要构建的镜像是由哪个镜像为基础镜像，后续的指令运行于此基准镜像所提供的运行环境 FROM命令，支持下面两种形式 FROM <image> FROM <image>:<tag> 二、LABEL和MAINTAINER指令 指定构建镜像的作者的信息，新版本 ...
分类：
其他好文 时间：
2021-03-17 14:21:47
阅读次数：
0
1、为什么要引入Yarn和Spark。 (1)现有的hadoop生态系统中存在的问题 1）使用mapreduce进行批量离线分析； 2）使用hive进行历史数据的分析； 3）使用hbase进行实时数据的查询； 4）使用storm进行实时的流处理； (2)选用spark的原因 1） 应用于流式计算的S ...
分类：
其他好文 时间：
2021-03-16 13:32:12
阅读次数：
0
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系，为什么要引入Yarn和Spark。 HDFS是Hadoop体系中数据存储管理的基础，它是一个高度容错的系统，能检测和应对硬件故障，在低成本的通用硬件上运行。 HBase构建在HDFS之上 ...
分类：
其他好文 时间：
2021-03-16 13:21:18
阅读次数：
0
在类成员函数中如何调用pthread_create()呢？ #incldue <pthread.h> int pthread_create(pthread_t *thread, const pthread_attr_t *attr, void *(*start_routine)(void *), v ...
分类：
编程语言 时间：
2021-03-16 11:47:13
阅读次数：
0
1. 为什么要引入Yarn和Spark。 从开源角度看，YARN的提出，从一定程度上弱化了多计算框架的优劣之争。YARN是在Hadoop MapReduce基础上演化而来的，在MapReduce时代，很多人批评MapReduce不适合迭代计算和流失计算，于是出现了Spark和Storm等计算框架，而 ...
分类：
其他好文 时间：
2021-03-15 11:29:44
阅读次数：
0
1. 阐述Hadoop生态系统中，HDFS, MapReduce, Yarn, Hbase及Spark的相互关系。 Hadoop对应于Google三驾马车：HDFS对应于GFS，即分布式文件系统，MapReduce即并行计算框架，HBase对应于BigTable，即分布式NoSQL列数据库，外加Zo ...
分类：
其他好文 时间：
2021-03-15 10:45:14
阅读次数：
0
