本文源码：GitHub·点这里||GitEE·点这里一、MinIO简介1、基础描述MinIO是一个开源的对象存储服务。适合于存储大容量非结构化的数据，例如图片、视频、日志文件、备份数据和容器/虚拟机镜像等，而一个对象文件可以是任意大小，从几kb到最大5T不等。MinIO是一个非常轻量的服务,可以很简单的和其他应用的结合，类似NodeJS,Redis或者MySQL。2、存储机制MinIO使用按对象的
分类：
编程语言 时间：
2020-07-28 10:24:29
阅读次数：
109
一、简介 在每个节点（driver和executor）上运行的管理器，该接口提供用于在本地和远程将block放置和检索到各种存储（内存，磁盘和堆外）的接口。 二、源码 private[spark] class BlockManager( executorId: String, rpcEnv: Rpc ...
分类：
其他好文 时间：
2020-07-27 23:41:12
阅读次数：
73
pom.xml: <?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance ...
分类：
其他好文 时间：
2020-07-27 09:41:28
阅读次数：
74
1、整合思路： 三层分别测试，再整合 2、搭建环境： 创建数据库： create database ssm; use ssm; create table account( id int primary key auto_increment, name varchar(20), money doubl ...
分类：
其他好文 时间：
2020-07-27 09:40:42
阅读次数：
86
1）案例需求 使用 Flume 采集服务器本地日志，需要按照日志类型的不同，将不同种类的日志发往不同的分析系统。 2）需求分析 在实际的开发中，一台服务器产生的日志类型可能有很多种，不同类型的日志可能需要发送到不同的分析系统。此时会用到 Flume 拓扑结构中的 Multiplexing 结构，Mu ...
分类：
Web程序 时间：
2020-07-26 23:24:13
阅读次数：
106
Spring整合Mybatis（注解方式） 环境准备 jar包： Spring所需依赖：spring-context、spring-aspects、aspectjrt、aspectjweaver、spring-tx、spring-jdbc mybatis所需要：mybatis、mybatis-spr ...
分类：
编程语言 时间：
2020-07-26 23:19:54
阅读次数：
129
Spark SQL(6) OptimizedPlan 在这一步spark sql主要应用一些规则，优化生成的Resolved Plan，这一步涉及到的有Optimizer。 之前介绍在sparksession实例化的是会实例化sessionState，进而确定QueryExecution、Analy ...
分类：
数据库 时间：
2020-07-26 19:28:25
阅读次数：
101
一.什么是机器学习？ 什么是机器学习？Herbert Sinmon给“学习”做出了这样的定义：“如果一个系统能够通过执行某个过程而改进性能，这就是学习。”更通俗的理解是：机器学习能够自动地从数据中学习“程序”，而这个程序不是人来编写的。 平面上有两类点，黄色代表类别a，蓝色代表类别b。这时我们希望能 ...
分类：
其他好文 时间：
2020-07-26 15:43:33
阅读次数：
56
1 Flume 定义 Flume 是 Cloudera 提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构，灵活简单。 2 Flume 组成架构 Flume 组成架构如图 1-1，图 1-2 所示： 2.1 Agent Agent 是一个 JVM 进程，它 ...
分类：
Web程序 时间：
2020-07-26 02:04:24
阅读次数：
109
1 Flume 安装地址 1） Flume 官网地址 http://flume.apache.org/ 2）文档查看地址 http://flume.apache.org/FlumeUserGuide.html 3）下载地址 http://archive.apache.org/dist/flume/ ...
分类：
Web程序 时间：
2020-07-26 02:04:05
阅读次数：
121
