一、线性回归 一、线性回归 ? 假设有数据有 ，其中 , 。其中m为训练集样本数，n为样本维度，y是样本的真实值。线性回归采用一个多维的线性函数来尽可能的拟合所有的数据点，最简单的想法就是最小化函数值与真实值误差的平方（概率解释-高斯分布加最大似然估计）。即有如下目标函数： 其中线性函数如下： ? ...
分类：
其他好文 时间：
2021-04-28 12:19:06
阅读次数：
0
参考链接1 参考链接2 一、介绍 极大似然估计和贝叶斯估计分别代表了频率派和贝叶斯派的观点。频率派认为，参数是客观存在的，只是未知而矣。因此，频率派最关心极大似然函数，只要参数求出来了，给定自变量X，Y也就固定了，极大似然估计如下所示: D表示训练数据集，是模型参数 相反的，贝叶斯派认为参数也是随机 ...
分类：
其他好文 时间：
2020-06-09 23:27:55
阅读次数：
87
本福特定律 概率公式 贝叶斯公式 重要分布 Beta分布 事件的独立性 期望与方差 协方差 Pearson相关系数 切比雪夫不等式 大数定律 中心极限定理 最大似然估计 ...
分类：
其他好文 时间：
2020-06-03 23:10:13
阅读次数：
66
"TOC" 个人博客: 概率与似然 对于最大似然估计我们使用最简单的抛硬币问题来进行讲解 概率 当我们抛一枚硬币的时候,就可以去猜测抛硬币的各种情况的可能性,这个可能性就称为 概率 一枚质地均匀的硬币,在不考虑其他情况下是符合二项分布的,即正面和翻面的概率都是0.5,那么我们抛10次硬币5次正面在上 ...
分类：
其他好文 时间：
2020-05-03 10:48:22
阅读次数：
61
0.相关概念 数据：X 参数：theta 假设概率模型为：x~p(x|theta) 【xi服从于p(x|theta)，并且是独立同分布(iid)】 明确先验、后验和似然的概念： 似然(likelihood)：p(X|theta) 先验(prior)：p(theta)：(随机变量)参数theta所服从 ...
分类：
其他好文 时间：
2020-04-27 22:25:24
阅读次数：
66
预热知识必知如何求类条件概率密度：我们知道贝叶斯决策中关键便在于知道后验概率，那么问题便集中在求解类条件概率密度！那么如何求呢？答案便是：将类条件概率密度进行参数化。 最大似然估计和贝叶斯估计参数估计：鉴于类条件概率密度难求，我们将其进行参数化，这样我们便只需要对参数进行求解就行了，问题难度将大大降 ...
分类：
其他好文 时间：
2020-04-09 15:28:09
阅读次数：
85
前言：介绍了最简单的最大似然估计，距离实现「朴素贝叶斯」还有一些距离。在这篇文章，我想分享一下，我所理解的「最大似然估计 - 高斯分布」。 问题 （这里都是玩具数据，为了方便理解才列出） 0123456789101112 X 1 2 3 4 4.2 4.4 4.6 4.8 5 6 7 8 y 0 0 ...
分类：
其他好文 时间：
2020-04-07 20:02:22
阅读次数：
247
似然 这个词害死人啊！ 拽什么拽啊，就是 最大可能估计！还有什么极大似然估计。都是坑人的，都一样。 最大似然估计是机器学习领域最为常见的用来构建 目标函数 的方法。 他的核心思想是：根据观测到的结果来预测其中的未知参数。 假设有一枚硬币，它是不均匀的，也就是说出现正面的反面的概率是不同的。假设我们设 ...
分类：
其他好文 时间：
2020-02-13 21:21:07
阅读次数：
100
根据已知特征值X和标签结果Y,我们利用线性回归模型（为了简化，作者以一元线性回归为例说明）可以得出 yi^=wxi+b。 损失函数：loss=Σ(yi-yi^)2 ，为了得到更加准确的拟合模型，我们的目标就转化为使损失函数loss最小，即： argmin loss=argmin Σ(yi-yi^)2 ...
分类：
其他好文 时间：
2020-01-11 14:57:31
阅读次数：
154
机器学习基础 [toc] 1. 概率和统计 概率（probabilty）和统计（statistics）看似两个相近的概念，其实研究的问题刚好相反。 顾名思义： 概率研究的问题是，已知一个模型和参数，怎么去预测这个模型产生的结果的特性（例如均值，方差，协方差等等）。 统计研究的问题则相反。统计是，有一 ...
分类：
其他好文 时间：
2020-01-09 00:55:49
阅读次数：
134
