再次声明,总结内容基本非原创,只是一个勤劳的搬运工,由于来源比较杂,只好一起感谢网上提供这些知识的人类们。 一、关于线性回归 线性回归比较简单,这里主要是对线性回归的一种理解,包括部分正则化的内容。 1.模型的概率解释 2.最大似然估计 即: 上面是线性回归最原始的最小平方损失函数,如果为了防止过拟 ...
分类:
其他好文 时间:
2017-04-12 15:05:34
阅读次数:
487
概率论 举例说明 先验概率:一个病人 得了癌症的概率 后验概率:一个病人 拍了片子,显示某个部位不正常时,得癌症的概率 似然函数 : 一个病人,得了癌症,拍片子显示不正常的概率 标准化常量:拍片子不正常的概率 贝叶斯公式 曲线拟合: 期中D表示 观测到的数据。 表示 在不同的w值下,这样的数据出现的 ...
分类:
其他好文 时间:
2017-04-10 21:19:58
阅读次数:
162
基本思想: 通过初始化参数P1,P2,推断出隐变量Z的概率分布(E步); 通过隐变量Z的概率分布,最大似然推断参数P1,P2 (M步)。 梯度下降也可以解决隐变量估计问题,但求和项会随隐变量个数指数增长,EM方法是一种非梯度下降优化方法。 ...
分类:
编程语言 时间:
2017-04-09 00:18:43
阅读次数:
314
em,是一种含有隐含变量的概率模型参数的极大似然估计法。主要应用在机器学习以及计算机视觉的数据聚类领域。 lr,逻辑回归,本质也是线性回归,通过拟合拟合样本的某个曲线,然后使用逻辑函数进行区间缩放,但是一般用来分类,主要用在点击率预估、推荐系统等;svm,支撑向量机,通过找到样本空间中的一个超平面, ...
分类:
编程语言 时间:
2017-04-06 22:11:28
阅读次数:
197
在 机器学习中的贝叶斯方法 先验概率、似然函数、后验概率的理解及如何使用贝叶斯进行模型预测(1) 文章中介绍了先验分布和似然函数,接下来,将重点介绍后验概率,以及先验概率、似然函数、后验概率三者之间的关系 贝叶斯公式。 在这篇文章中,我们通过最大化似然函数求得的参数 r 与硬币的抛掷次数(抛掷次数是 ...
分类:
其他好文 时间:
2017-04-01 21:53:23
阅读次数:
316
一,本文将基于“独立重复试验 抛硬币”来解释贝叶斯理论中的先验概率、似然函数和后验概率的一些基础知识以及它们之间的关系。 本文是《A First Course of Machine Learning》的第三章的学习笔记,在使用贝叶斯方法构造模型并用它进行预测时,总体思路是:在已经先验知识(先验概率分 ...
分类:
其他好文 时间:
2017-04-01 16:23:27
阅读次数:
553
gibbs采样关键字一关键字二参数估计与预测机器学习的一般思路为:1.从问题的本质中构建模型,定义样本的产生,有联合概率(图模型)。2.进行模型参数的估计:MLE、MAP、Bayes。3.使用模型对新样本进行估计。MLE:极大似然估计估计:解优化函数预测:MAP:极大后验估计估计:解优化函数预测:对... ...
分类:
其他好文 时间:
2017-03-30 19:21:03
阅读次数:
221
一道关于求最大M字段和的问题,翻译完题之后感觉很简单但就是写不来,后来仿佛推到一个dp式子了,对,仿佛...然后抄袭了个式子,嘿,和我的式子大体相似,然后就是很玄学的优化了...不多瞎bb了 1.首先,定义数组num[n],dp[m][n]. num[n]用来存储n个整数组成的序列.dp[i][j] ...
分类:
其他好文 时间:
2017-03-28 17:38:04
阅读次数:
216
在Coursera机器学习课程中,第一篇练习就是如何使用最小均方差(Least Square)来求解线性模型中的参数。本文从概率论的角度 最大化似然函数,来求解模型参数,得到线性模型。本文内容来源于:《A First Course of Machine Learning》中的第一章和第二章。 先来看 ...
分类:
其他好文 时间:
2017-03-26 18:05:47
阅读次数:
151
1. 最大似然估计法的思想 在已经得到试验结果的情况下,我们应该寻找使这个结果出现的可能性最大的那个θ作为真θ的估计。 2. 离散型随机变量 设X为离散型随机变量,其概率分布的形式为 ,则样本的概率分布为 ,在 固定时,上式表示取值的概率;当 固定时,它是 的函数,我们把它记为 并称为似然函数。 似 ...
分类:
其他好文 时间:
2017-03-25 22:41:29
阅读次数:
178