MapReduce能够计算非常复杂的聚合逻辑，非常灵活，但是，MapReduce非常慢，不应该用于实时的数据分析中。MapReduce能够在多台Server上并行执行，每台Server只负责完成一部分wordload，最后将wordload发送到MasterServer上合并，计算出最终的结果集，返回客户端。MapReduce的基本思想，如下图所示：在这个例子中，我们以一个求和为例。首先执行Map
分类：
数据库 时间：
2020-09-18 00:43:16
阅读次数：
38
什么是数据连接？相信大多数没有使用过BI工具的小伙伴看到这篇文章标题时都会发出这样的疑问。我们要进行制作报表或者数据分析的前提条件都是要有数据，而实际用户系统最常见的就是将数据保存在数据库中，并且在不断的更新，数据连接就是创建BI工具与业务数据库之间的链接，使用数据库数据来制作报表，并且报表内容会随着数据库的更新而更新。而目前主流的一些数据来源大概可以分为下图几大模块，关系数据库（RDBMS）、多
分类：
其他好文 时间：
2020-09-17 22:40:03
阅读次数：
31
当我们对于一些查询条件需要用到复杂子查询时，聚合函数操作起来非常麻烦，因此使用开窗函数能够轻松实现 窗口函数的引入是为了解决想要既显示聚集前的数据,又要显示聚集后的数据。 开窗函数对一组值进行操作，不需要使用GROUP BY子句对数据进行分组，能够在同一行中同时返回基础行的列和聚合列。 强调：使用 ...
分类：
其他好文 时间：
2020-09-17 22:00:28
阅读次数：
24
Hive的SQL可以通过用户定义的函数（UDF），用户定义的聚合（UDAF）和用户定义的表函数（UDTF）进行扩展。 当Hive提供的内置函数无法满足你的业务处理需要时，此时就可以考虑使用用户自定义函数（UDF）。 UDF、UDAF、UDTF的区别： UDF（User-Defined-Functio ...
分类：
其他好文 时间：
2020-09-17 21:51:10
阅读次数：
35
报错信息： trying to create too many buckets. must be less than or equal to: [100000] but was [100001]. this limit can be set by changing the [search.max_b ...
分类：
其他好文 时间：
2020-09-17 19:52:17
阅读次数：
105
初识Node.js 一、Node.js的概念 1.JavaScript引擎 浏览器的内核包括两部分核心： DOM渲染引擎 JavaScript解析引擎 Chrome浏览器内置V8引擎，V8引擎执行Javascript的速度非常快，性能非常好。 2.什么是Node.js 脱离浏览器环境也可以运行Jav ...
分类：
其他好文 时间：
2020-09-17 19:07:51
阅读次数：
23
前言在微服务架构中，由于系统和服务的细分，导致系统结构变得非常复杂，为了跨平台，为了统一集中管理api，同时为了不暴露后置服务。甚至有时候需要对请求进行一些安全、负载均衡、限流、熔断、灰度等中间操作，基于此类种种的客观需求一个类似综合前置的系统就产生了，这就是API网关（APIGateway）。API网关作为分散在各个业务系统微服务的API聚合点和统一接入点，外部请求通过访问这个接入点，即可访问内
分类：
编程语言 时间：
2020-09-17 15:58:42
阅读次数：
45
1.前言上一文我们使用SpringSecurity实现了各种登录聚合的场面。其中我们是通过在UsernamePasswordAuthenticationFilter之前一个自定义的过滤器实现的。我怎么知道自定义过滤器要加在UsernamePasswordAuthenticationFilter之前。我在这个系列开篇说了SpringSecurity权限控制的一个核心关键就是过滤器链，这些过滤器如下图
分类：
编程语言 时间：
2020-09-17 12:40:13
阅读次数：
20
两台交换机上有vlan101和vlan102的网络，两台交换机之间采用Eth-Trunk模式，实现链路聚合负载分担。1、拓扑图2、创建vlan，并将接口加入到vlan中SWA[swa]vlan batch 101 102Info: This operation may take a few seco... ...
分类：
其他好文 时间：
2020-09-17 12:25:45
阅读次数：
46
