统计学的基本概念（原文链接） 一、 有n个样本的集合: X = {X1，X2，...,Xn} 均值： 标准差： 方差： 有两个数据集,数据集1，X = [0,8,12,20];数据集2，Y = [8,9,11,12]。两者的均值一样都为10。数据集1的标准差8.3，数据集2的标准差为1.8，因为后者 ...
分类：
其他好文 时间：
2020-06-03 20:12:38
阅读次数：
65
原文链接 从高数原理推导出的PCA降维 【机器学习】降维-PCA PCA（Principal Component Analysis） 是一种常见的数据分析方式，常用于高维数据的降维，可用于提取数据的主要特征分量。 PCA 的数学推导可以从最大可分型和最近重构性两方面进行，前者的优化条件为划分后方差最 ...
分类：
编程语言 时间：
2020-06-03 15:13:40
阅读次数：
75
这里实现了java编程求和、平均值、方差、标准差，求标准差的时候使用到了java提供的方法求算术平方根。 改天利用算法自己编写一个算术平方根，先贴上以上几种求法，方法的复用性和拓展性就不写了 这里只有求平均数两种情况的方法写了。 package com.math; /** * * @author c ...
分类：
编程语言 时间：
2020-06-03 09:22:32
阅读次数：
97
过滤法总结 到这里我们学习了常用的基于过滤法的特征选择，包括方差过滤，基于卡方，F检验和互信息的相关性过滤，讲解了各个过滤的原理和面临的问题，以及怎样调这些过滤类的超参数。通常来说，我会建议，先使用方差过滤，然后使用互信息法来捕捉相关性，不过了解各种各样的过滤方式也是必要的。所有信息被总结在下表，大 ...
分类：
其他好文 时间：
2020-05-29 13:33:00
阅读次数：
102
相关性过滤 方差挑选完毕之后，我们就要考虑下一个问题：相关性了。 我们希望选出与标签相关且有意义的特征，因为这样的特征能够为我们提供大量信息。如果特征与标签无关，那只会白白浪费我们的计算内存，可能还会给模型带来噪音。在sklearn当中，我们有三种常用的方法来评判特征与标签之间的相关性：卡方，F检验 ...
分类：
其他好文 时间：
2020-05-29 13:27:44
阅读次数：
149
一，古典概型： 1，事件的关系 2，事件的独立及乘法公式 3，全概率公式 ：P（B）=E(1-n)P(Ai)*P(B|Ai) 完备事件组：任意2个为空集，全部事件为全集 4，贝叶斯公式：已知完备事件组，B 求B发生条件Ai代表的全概率事件组发生的概率 二、随机概率分布的数字特征：期望及方差 ...
分类：
其他好文 时间：
2020-05-25 09:47:04
阅读次数：
172
模型有很多参数，如何找到最佳的参数组合？ 调整参数何时为止：应该遵循偏差和方差协调的原则。 本章将介绍： 调整参数对机器学习的重要性 如何使用网格搜索优化参数 如何使用随机搜索优化参数 机器学习算法调参 调整算法参数是采用机器学习解决问题的最后一个步骤，有时也被称为超参数优化。 参数可以分为两种：一 ...
分类：
编程语言 时间：
2020-05-23 09:19:48
阅读次数：
52
一、卡方分布 1. 定义 设 X1..Xn是服从标准正态分布的随机变量，则称统计量 服从自由度为n的卡方分布（标准正态分布随机变量的平方和），记为，其中v称为自由度。 卡方分布期望和方差： 。 2. 外形（取决于自由度） 3. 统计量计算 , 为实际频数，为期望频数。 4. 分布的两个主要用途 分布 ...
分类：
其他好文 时间：
2020-05-16 17:12:51
阅读次数：
363
本文始发于个人公众号： TechFlow ，原创不易，求个关注 今天是 概率统计专题 的第六篇，我们来看看方差相关的概念。 方差的定义 方差在我们的日常生活当中非常常见，它主要是为了 提供样本离群程度的描述 。举个简单的例子，我们去买一包薯片，一般来说一袋薯片当中的数量是固定的。我们假设平均每袋当中 ...
分类：
其他好文 时间：
2020-05-16 10:59:29
阅读次数：
82
高斯噪声即呈正态分布的干扰噪声，用作增加光谱的扰动或图像的干扰。主要对光谱加噪进行分析。 其实Matlab本身就有比较成熟的加噪函数imnoise，y1=imnoise（y，'gaussian',M,V）； y为原始光谱，gaussian为噪声类型为高斯，M为扰动均值，V为方差（可以理解为为信号的强 ...
分类：
其他好文 时间：
2020-05-11 23:53:47
阅读次数：
159
