在《机器学习 逻辑回归（一）（Machine Learning Logistic Regression I）》一文中，我们讨论了如何用逻辑回归解决二分类问题以及逻辑回归算法的本质。现在来看一下多分类的情况。 现实中相对于二分类问题，我们更常遇到的是多分类问题。多分类问题如何求解呢？有两种方式。一种是 ...
分类：
系统相关 时间：
2019-06-23 20:48:12
阅读次数：
170
概率函数 vs 似然函数 : p(x|θ) (概率函数是θ，已知，求x的概率。似然函数是x已知，求θ) 分布是p(x|θ)的总体样本中抽取到这100个样本的概率，也就是样本集X中各个样本的联合概率 最大似然估计为： 为了方便计算，对联合概率取对数 求最大似然函数估计值的一般步骤： （1）写出似然函数 ...
分类：
其他好文 时间：
2019-06-20 10:56:00
阅读次数：
92
经常地，对一堆数据进行建模的时候，特别是分类和回归模型，我们有很多的变量可供使用，选择不同的变量组合可以得到不同的模型，例如我们有5个变量，2的5次方，我们将有32个变量组合，可以训练出32个模型。但是哪个模型更加的好呢？ 选择最优模型的指导思想是从两个方面去考察：一个是似然函数最大化，另一个是模型 ...
分类：
其他好文 时间：
2019-06-19 21:37:27
阅读次数：
476
1.对词用独热编码进行表示的缺点 向量的维度会随着句子中词的类型的增大而增大，最后可能会造成维度灾难2、任意两个词之间都是孤立的，仅仅将词符号化，不包含任何语义信息，根本无法表示出在语义层面上词与词之间的相关信息，而这一点是致命的。 2.用向量代表词的好处 3.词嵌入的由来 在NLP之分词中提过，o ...
分类：
其他好文 时间：
2019-06-16 20:05:09
阅读次数：
206
书中重要定义及一些理解 先通过介绍逻辑史蒂的分布来引出logist模型 而通过极大似然法来推导模型的参数估计问题 通过对模型参数的似然函数通过求导来得到递归方程 通过公式可以看出logist是对前面的感知机的升级版，感知机的判断方式过于简单。而其梯度下降的时候也将sign的去掉了，否则无法微分。 后 ...
分类：
其他好文 时间：
2019-06-12 11:03:38
阅读次数：
94
逻辑回归模型是针对线性可分问题的一种易于实现而且性能优异的分类模型。 它假设数据服从伯努利分布,通过极大化似然函数的方法，运用梯度下降法来求解参数，来达到将数据二分类的目的。 算法推导 引入几率比（odds）：指一个事件发生的概率与不发生概率的比值。对其求log，可得： $$ logit(p) = ...
分类：
其他好文 时间：
2019-05-15 16:08:09
阅读次数：
178
学贝叶斯方法时绕不过去的一个问题，现在系统地总结一下。 之前过于纠结字眼，似然和概率到底有什么区别？以及这一个奇妙的对等关系（连续才是f，离散就是p）。 wiki：在数理统计学中，似然函数是一种关于统计模型中的参数的函数，表示模型参数中的似然性。 这里我们讨论的范围已经界定了，那就是在指定模型下（比 ...
分类：
其他好文 时间：
2019-05-14 09:44:10
阅读次数：
221
from: https://blog.csdn.net/shenxiaoming77/article/details/77505549 先验概率和后验概率 教科书上的解释总是太绕了。其实举个例子大家就明白这两个东西了。 假设我们出门堵车的可能因素有两个（就是假设而已，别当真）：车辆太多和交通事故。 ...
分类：
其他好文 时间：
2019-05-14 09:24:44
阅读次数：
109
上篇的CRF++源码阅读中， 我们看到CRF++如何处理样本以及如何构造特征。本篇文章将继续探讨CRF++的源码，并且本篇文章将是整个系列的重点，会介绍条件随机场中如何构造无向图、前向后向算法、如何计算条件概率、如何计算特征函数的期望以及如何求似然函数的梯度。本篇将结合条件随机场公式推导和CRF++ ...
分类：
其他好文 时间：
2019-01-28 20:14:53
阅读次数：
211
似然与概率 https://blog.csdn.net/u014182497/article/details/82252456 在统计学中，似然函数（likelihood function，通常简写为likelihood，似然）是一个非常重要的内容，在非正式场合似然和概率（Probability）几 ...
分类：
其他好文 时间：
2019-01-10 21:48:55
阅读次数：
172
