着重介绍hige loss 和 softmax loss。 "svm回顾" $C_1,C_2$是要区分的两个类别，通过分类函数执行时得到的值与阈值的大小关系来决定类别归属，例如： $$g(x) = g(w^Tx+b)$$ 我们取阈值为0，此时$f(x)=sgn[g(x)]$就是最终的判别函数。对于同 ...
分类：
其他好文 时间：
2018-12-22 13:06:44
阅读次数：
409
线性回归是机器学习中最基础的模型，掌握了线性回归模型，有利于以后更容易地理解其它复杂的模型。 线性回归看似简单，但是其中包含了线性代数，微积分，概率等诸多方面的知识。让我们先从最简单的形式开始。 一元线性回归（Simple Linear Regression）： 假设只有一个自变量x（indepen ...
分类：
系统相关 时间：
2018-12-19 14:18:00
阅读次数：
201
1. 前言 概率模型有时既含有观测变量(observable variable)，又含有隐变量或潜在变量（latent variable），如果仅有观测变量，那么给定数据就能用极大似然估计或贝叶斯估计来估计model参数；但是当模型含有隐变量时，需要一种含有隐变量的概率模型参数估计的极大似然方法估计 ...
分类：
编程语言 时间：
2018-12-15 17:14:12
阅读次数：
244
假设函数： 更为一般的表达式： （1） 似然函数： （2） 对数似然函数： 如果以上式作为目标函数，就需要最大化对数似然函数，我们这里选择最小化负的对数似然函数 （3） 对J(w)求极小值，对求导 （4） 上述中 表示第i个样本的第j个属性的取值。 于是的更新方式为： （5） 将（5）式带入（4）式 ...
分类：
编程语言 时间：
2018-12-03 01:01:55
阅读次数：
1561
EM算法：让期望最大化的算法最大似然估计：已知：样本服从分布的模型 观测到的样本求解：模型的参数 极大似然估计是用来估计模型参数的统计学方法 就是什么参数能使得样本符合这么一个模型最大似然函数：什么样的参数使得出现当前这批样本概率最大 利用结果推出参数的最大值 问题提升：有两个类别，这两个类别都服从 ...
分类：
编程语言 时间：
2018-11-26 20:58:40
阅读次数：
23591
众所周知，极大似然估计是一种应用很广泛的参数估计方法。例如我手头有一些东北人的身高的数据，又知道身高的概率模型是高斯分布，那么利用极大化似然函数的方法可以估计出高斯分布的两个参数，均值和方差。这个方法基本上所有概率课本上都会讲，我这就不多说了，不清楚的请百度。 然而现在我面临的是这种情况，我手上的数 ...
分类：
编程语言 时间：
2018-11-24 18:01:30
阅读次数：
173
前言 EM算法大家应该都耳熟能详了，不过很多关于算法的介绍都有很多公式。当然严格的证明肯定少不了公式，不过推公式也是得建立在了解概念的基础上是吧。所以本文就试图以比较直观的方式谈下对EM算法的理解，尽量不引入推导和证明，希望可以有助理解算法的思路。 介绍 EM方法是专门为优化似然函数设计的一种优化算 ...
分类：
编程语言 时间：
2018-11-02 01:57:17
阅读次数：
228
看了好多书籍和博客，讲先验后验、贝叶斯公式、两大学派、概率模型、或是逻辑回归，讲的一个比一个清楚 ，但是联系起来却理解不能 基本概念如下 先验概率：一个事件发生的概率 \[P(y)\] 后验概率：一个事件在另一个事件发生条件下的条件概率 \[P(y|x)\] 贝叶斯公式：联合概率公式直接能推导出来的 ...
分类：
其他好文 时间：
2018-10-20 00:53:15
阅读次数：
766
一、线性回归 在统计学中，线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。 回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这 ...
分类：
其他好文 时间：
2018-09-15 01:19:36
阅读次数：
1170
很多参数估计问题均采用似然函数作为目标函数，当训练数据足够多时，可以不断提高模型精度，但是以提高模型复杂度为代价的，同时带来一个机器学习中非常普遍的问题——过拟合。所以，模型选择问题在模型复杂度与模型对数据集描述能力（即似然函数）之间寻求最佳平衡。 人们提出许多信息准则，通过加入模型复杂度的惩罚项来 ...
分类：
其他好文 时间：
2018-08-25 14:30:18
阅读次数：
158
