pom 类型：一般作为父工程存在，父工程主要是进行统一的版本申明，并不定义具体的依赖关系，常见于多模块或者说聚合工程中使用。 jar类型：一般用于打包普通的java bean，资源库等，比如将公共的工具类放到一个模块，这个时候就其他模块如果想要使用的话，就可以直接引用便可，就把这个项目当作一个jar ...
分类：
其他好文 时间：
2021-01-06 12:14:44
阅读次数：
0
1.UDAF定义 spark中的UDF(UserDefinedFunction)大家都不会陌生, UDF其实就是将一个普通的函数, 包装为可以按 行 操作DataFrame中指定Columns的函数. 例如, 对某一列的所有元素进行+1操作, 它对应mapreduce操作中的map操作. 这种操作有 ...
分类：
其他好文 时间：
2021-01-04 11:31:11
阅读次数：
0
● 系统环境说明 Linux环境：centos 7.2 腾讯云ES Service：7.5.1 Java：1.8.0_181 ● 集群配置 32核64GB, 3个（主节点） 50GB 高性能云盘 x1 32核64GB, 12个（数据节点） 6000GB SSD云硬盘 x2 问题异常： ES cros ...
分类：
其他好文 时间：
2021-01-02 11:30:48
阅读次数：
0
##每周总结 |学习时间|代码量|博客量|学习的知识点|下周任务| | | | | | | |20小时|1800左右|1篇|做了mapreduce实例|继续完成xxxx系统| ...
分类：
其他好文 时间：
2021-01-01 12:12:26
阅读次数：
0
SQL行转列汇总 一. 基础语法: PIVOT 用于将列值旋转为列名（即行转列），在 SQL Server 2000可以用聚合函数配合CASE语句实现 PIVOT 的一般语法是：PIVOT(聚合函数(列) FOR 列 in (…) )AS P 注意：PIVOT、UNPIVOT是SQL Server ...
分类：
数据库 时间：
2020-12-31 12:10:07
阅读次数：
0
krakend 是一个强大的，区别与传统的 proxy，支持强大转换，聚合，以及移除数据，krakend 同时实现了 bff (backend for frontend ) 以及micro-frontends 模式，可以进行多rest api 的集合，以及进行隔离微服务client实现的 细节 一张 ...
前言 Transactions per Second 也就是每秒事务数，在性能测试中非常重要的一个指标，我们在聚合报告里面能看到最后的测试结果TPS值。 如果我们想查看更详细的报告，查看压测过程中不同时间段的每秒事务数，可以使用 Transactions per Second 插件来查看。 Tran ...
分类：
其他好文 时间：
2020-12-29 11:46:43
阅读次数：
0
flume的概述 Apache Flume是一个分布式，可靠且可用的系统，用于有效地从许多不同的source收集，聚合和移动大量日志数据到集中式数据存储。 Apache Flume的使用不仅限于日志数据聚合。由于数据source是可定制的，因此Flume可用于传输大量event 数据，包括但不限于网 ...
分类：
Web程序 时间：
2020-12-29 11:10:09
阅读次数：
0
ES提供了强大的聚合分析功能，按照操作上细化，可以主要分为四种，如下表所示: 聚合方式解释 Bucket Aggregation 一些满足特定条件的文档的集合 Metric Aggregation 一些数学计算，可以对文档字段统计分析 Pipeline Aggregation 对其他的聚合结果进行二 ...
分类：
其他好文 时间：
2020-12-25 12:09:38
阅读次数：
0
MapReduce详细工作流程之Map阶段 如上图所示 首先有一个200M的待处理文件 切片：在客户端提交之前，根据参数配置，进行任务规划，将文件按128M每块进行切片 提交：提交可以提交到本地工作环境或者Yarn工作环境，本地只需要提交切片信息和xml配置文件，Yarn环境还需要提交jar包；本地 ...
分类：
其他好文 时间：
2020-12-22 12:23:51
阅读次数：
0
