RAID1又称镜像阵列或磁盘镜像。他将相同的数据写入两个硬盘,两个硬盘互为镜像,当其中的一个发生故障时,另一个可以继续工作,并可在需要时重建阵列。这种类型具有较高的数据安全性,读取速度快,但写入速度慢,磁盘空间利用率低,适用于关键任务环境和对数据可靠性要求严格的场合 RAID5又称分布式奇偶校验阵列 ...
分类:
其他好文 时间:
2019-11-26 17:49:01
阅读次数:
95
假设每个簇的数据都符合高斯分布,当前数据呈现的分布就是各个簇的高斯分布叠加在一起的结果 用多个高斯分布函数的线性组合来对数据分布进行拟合 生成式模型 核心思想 每个单独的分模型都是标准高斯模型,其均值$\mu_i$和方差$\sum_i$是待估计的参数。此外,每个分模型还有一个权重参数$\pi_i$。 ...
分类:
其他好文 时间:
2019-11-24 15:26:38
阅读次数:
64
0x00 简介 Flink核心是一个流式的数据流执行引擎,其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎,Flink提供了诸多更高抽象层的API以便用户编写分布式任务。 0x01 漏洞概述 攻击者可直接在Apache Flink Dashboard页面中上传任意j ...
分类:
编程语言 时间:
2019-11-15 18:35:42
阅读次数:
110
RDD是分布式内存的一个抽象概念,是一种高度受限的共享内存模型,即RDD是只读的记录分区的集合,能横跨集群所有节点并行计算,是一种基于工作集的应用抽象。 RDD底层存储原理:其数据分布存储于多台机器上,事实上,每个RDD的数据都以Block的形式存储于多台机器上,每个Executor会启动一个Blo ...
分类:
其他好文 时间:
2019-11-09 19:19:31
阅读次数:
127
在对数据建模前,很多时候我们需要对数据做正态性检验,进而通过检验结果确定下一步的分析方案。下面介绍 Python 中常用的几种正态性检验方法: scipy.stats.kstest kstest 是一个很强大的检验模块,除了正态性检验,还能检验 scipy.stats 中的其他数据分布类型 kste ...
分类:
编程语言 时间:
2019-11-05 15:31:13
阅读次数:
186
◆描述性统计分析 概念:描述性统计分析方法是指应用分类、制表、图形及概括性数据指标(去均值,方差等)来概括数据分布特征的方法。 而推断性统计分析方法则是通过随机抽样,应用统计方法把从样本数据得到的结论推广到总体的数据分析方法统计上需要把样本数据所御寒信息进行概括,融合和抽象, 从而得到反映样本数据的 ...
分类:
其他好文 时间:
2019-10-31 21:43:52
阅读次数:
130
描述性统计分析方法是只应用分类、制表、图形及概括性数据指标(如均值、方差等)来概括数据分布特征的方法。 描述数据特征的统计量可分为两类:一类表示数据的中心位置,如均值、中位数、众数等;另一类表示数据的离散程度,如方差、标准、差极差等用来衡量个体偏离中心的程度。 在描述定性观测值时,有时候我们需要把这 ...
分类:
其他好文 时间:
2019-10-31 20:09:30
阅读次数:
114
序 RAID一页通整理所有RAID技术、原理并配合相应RAID图解,给所有存储新人提供一个迅速学习、理解RAID技术的网上资源库,本文将持续更新,欢迎大家补充及投稿。中国存储网一如既往为广大存储界朋友提供免费、精品资料。 1.什么是Raid; RAID(Redundant Array of Inex ...
分类:
其他好文 时间:
2019-10-30 18:50:33
阅读次数:
85
一、ceph概念 Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。ceph 的统一体现在可以提供文件系统、块存储和对象存储,分布式体现在可以动态扩展。 特点: (1)高性能: a. 摒弃了传统的集中式存储元数据寻址的方案,采用CRUSH算法,数据分布均衡,并行度高。 b. ...
分类:
其他好文 时间:
2019-10-29 19:55:53
阅读次数:
117
是什么 过拟合(overfitting)是指在模型参数拟合过程中的问题,由于训练数据包含抽样误差,训练时,复杂的模型将抽样误差也考虑在内,将抽样误差也进行了很好的拟合。 具体表现就是最终模型在训练集上效果好;在测试集上效果差。模型泛化能力弱。 为什么 为什么要解决过拟合现象?这是因为我们拟合的模型一 ...
分类:
其他好文 时间:
2019-10-26 20:43:49
阅读次数:
78