1.spark内存分配 MemoryManager |__StaticMemoryManager 静态内存管理机制 |__UnifiedMemoryManger 统一内存管理机制 1.静态内存管理机制 静态内存管理机制实现起来较为简单，但没有根据具体的数据规模和计算任务做相应的配置，很容易造成"一半 ...
分类：
其他好文 时间：
2021-06-23 17:02:31
阅读次数：
0
三层矩形框：表示一个类(对象)，第一行为类名，第二行为特性（字段、方法等），第三行为操作（方法、行为） Tips：如果类名为斜体则是抽象类 “+”：public访问级别 “-”：privte访问级别 “#”：protected访问级别 “<>”：表示接口，第一行为接口名称、第二行为接口方法 空心圆+ ...
分类：
其他好文 时间：
2021-06-23 16:48:45
阅读次数：
0
Java知识点3 面向对象编程（OOP）: 本质是以类的方式组织代码，以对象的组织（封装）数据。 OOP三大特性：封装、继承、多态。 认识论角度理解：先有对象后有类，对象是具体的事物，类是对象的抽象。 编码角度理解：先有类后又对象，类是对象的模具。 Java传值方式：值传递，引用传递（传对象，本质还 ...
分类：
编程语言 时间：
2021-06-23 16:42:34
阅读次数：
0
spark-RDD缓存,checkpoint机制,有向无环图,stage 1.RDD依赖关系 RDD依赖关系有2种不同类型，窄依赖和宽依赖。 窄依赖(narrow dependency)：是指每个父RDD的Partition最多被子RDD一个Partition使用。就好像独生子女一样。窄依赖的算子包 ...
分类：
其他好文 时间：
2021-06-22 18:39:47
阅读次数：
0
一、Lambda表达式 Lambda表达式是一个匿名函数，即没有函数名的函数。从动态引用到动态定义，可以简化写法。 对比两种写法： Lambda表达式的语法如下： (parameters) -> expression 或 (parameters) ->{ statements; } 还有如下特性： ...
分类：
编程语言 时间：
2021-06-22 17:48:49
阅读次数：
0
最近官方也发布了关于dremio 16 版本的变动信息，以下是一个简单的说明 更新 访问控制变动 具体可以参考官方文档，因为这个特性是需要企业版支持的，功能还是很强大的 切片线程监视 可以保证异常流量请求的正常 连接池的配置 这个以前也介绍过，变动还是比较大的，以前模式开发的driver 大部分会有 ...
分类：
其他好文 时间：
2021-06-22 17:47:32
阅读次数：
0
一、简介 主要包括以下四点： 频域变换：傅里叶变换和离散余弦变换及其反变换，可将图像在空域上的特性转化到频域上； 叠加噪声：对图像添加高斯噪声和椒盐噪声； 空域滤波：对噪声污染后的图像添加不同模板下的平滑滤波和锐化滤波，可选择不同模板尺寸； 频域滤波：对噪声污染后的图像添加理想低通滤波器、巴特沃斯低 ...
分类：
其他好文 时间：
2021-06-21 20:09:40
阅读次数：
0
Font Awesome 一套绝佳的图标字体库和CSS框架 Font Awesome为您提供可缩放的矢量图标，您可以使用CSS所提供的所有特性对它们进行更改，包括：大小、颜色、阴影或者其它任何支持的效果。 请点击Font Awesome进入网站。 ...
分类：
Web程序 时间：
2021-06-21 19:55:26
阅读次数：
0
需求分析 采集需求：某服务器的某特定目录下，会不断产生新的文件，每当有新文件出现，就需要把文件采集到HDFS中去 结构示意图： 根据需求，首先定义以下3大要素 数据源组件，即source ——监控文件目录 : spooldir spooldir特性： 1、监视一个目录，只要目录中出现新文件，就会采集 ...
分类：
Web程序 时间：
2021-06-20 17:55:46
阅读次数：
0
1. 接口和抽象类的区别 抽象类可以存在普通成员函数，而接口中只能存在public abstract方法 抽象类中的成员变量客户是各种类型的，而接口中的成员变量只能是public static final类型的 抽象类只能继承一个，接口可以实现多个 接口的设计目的，是对类的行为进行约束（更准确的说是 ...
分类：
编程语言 时间：
2021-06-20 17:49:39
阅读次数：
0
