Controller接收参数的常用方式总体可以分为三类。第一类是Get请求通过拼接url进行传递，第二类是Post请求通过请求体进行传递，第三类是通过请求头部进行参数传递。 1 @PathVariable接收参数 请求方式：localhost:7001/param/123 请求示例： 代码示例： @ ...
分类：
编程语言 时间：
2020-10-05 21:46:37
阅读次数：
30
shuffle阶段 概念 shule 是 Mapreduce 的核心，它分布在 Mapreduce 的 map 阶段和 reduce 阶段。一般把从 Map 产生输出开始到 Reduce 取得数据作为输入之前的过程称作 shule。 一张图看懂Mapreduce全过程 概念解释 Collect阶段 ...
分类：
其他好文 时间：
2020-10-05 21:45:42
阅读次数：
32
本文源码：GitHub·点这里 || GitEE·点这里 一、内存与线程 1、内存结构 内存是计算机的重要部件之一,它是外存与CPU进行沟通的桥梁，计算机中所有程序的运行都在内存中进行，内存性能的强弱影响计算机整体发挥的水平。JVM的内存结构规定Java程序在执行时内存的申请、划分、使用、回收的管理 ...
分类：
其他好文 时间：
2020-09-24 22:00:57
阅读次数：
40
闭包_Closure: 1.一般情况下,第一类对象都是独立的封闭的存在的,独立的封闭的起作用; 2.第一类对象可以被创建; 3.第一类对象可以作为参数传递给其他函数; 4.第一类对象可以赋值给变量实体; 5.通常是没有闭包的概念的,因为没有那种特殊的场景; 6.但是在某些编程语言中(Go/PHP/J ...
分类：
其他好文 时间：
2020-09-24 21:45:53
阅读次数：
40
目录 课程大纲（MAPREDUCE详解） 3 1. MAPREDUCE入门 4 1.1 为什么要MAPREDUCE 4 1.2 MAPREDUCE程序运行演示 4 1.3 MAPREDUCE 示例编写及编程规范 4 1.3.1 编程规范 4 1.3.2 wordcount示例编写 5 1.4 MAP ...
分类：
其他好文 时间：
2020-09-23 23:18:10
阅读次数：
33
Hadoop HA 集群搭建 Hadoop HA 集群搭建Hadoop 完全分布式环境搭建集群规划集群部署前提Hadoop伪分布式环境搭建配置IP映射安装 Java 与 Hadoop配置 Hadoop配置 MapReduce 与 YARN集群配置配置基本参数配置 SSH 免密登录格式化 HDFS启动 ...
分类：
其他好文 时间：
2020-09-18 03:33:30
阅读次数：
38
Docker也有Volume的概念，但对它只有少量且松散的管理。在Docker中，Volume是磁盘上或者另外一个容器内的一个目录。直到最近，Docker才支持对基于本地磁盘的Volume的生存期进行管理。虽然Docker现在也能提供Volume驱动程序，但是目前功能还非常有限（例如，截至Docker1.7，每个容器只允许有一个Volume驱动程序，并且无法将参数传递给卷）。另一方面，Kubern
分类：
Web程序 时间：
2020-09-18 00:49:38
阅读次数：
50
MapReduce能够计算非常复杂的聚合逻辑，非常灵活，但是，MapReduce非常慢，不应该用于实时的数据分析中。MapReduce能够在多台Server上并行执行，每台Server只负责完成一部分wordload，最后将wordload发送到MasterServer上合并，计算出最终的结果集，返回客户端。MapReduce的基本思想，如下图所示：在这个例子中，我们以一个求和为例。首先执行Map
分类：
数据库 时间：
2020-09-18 00:43:16
阅读次数：
38
flask的第一个程序解析 from flask import Flask app = Flask(__name__) 首先导入包，将__name__参数传递给Flask程序，__name__的作用（官方解释：当你只使用单一模块时，Flask(name)会确保是正确的。） @app.route("/ ...
分类：
其他好文 时间：
2020-09-17 21:46:12
阅读次数：
30
介绍 不论MapReduce还是RDD，shuffle都是非常重要的一环，也是影响整个程序执行效率的主要环节，但是在这两个编程模型里面shuffle却有很大的异同。 shuffle的目的是对数据进行混洗，将各个节点的同一类数据汇集到某一个节点进行计算，为了就是分布式计算的可扩展性。 可能大家多MR的 ...
分类：
其他好文 时间：
2020-09-17 19:31:45
阅读次数：
30
