上节课讲了Kernel的技巧如何应用到Logistic Regression中。核心是L2 regularized的error形式的linear model是可以应用Kernel技巧的。这一节，继续沿用representer theorem，延伸到一般的regression问题。首先想到的就是rid...
分类：
其他好文 时间：
2015-07-13 18:02:29
阅读次数：
114
逻辑回归（Logistic Regression）是机器学习中的一种分类模型，由于算法的简单和高效，在实际中应用非常广泛。本文作为美团机器学习InAction系列中的一篇， 主要关注逻辑回归算法的数学模型和参数求解方法，最后也会简单讨论下逻辑回归和贝叶斯分类的关系，以及在多分类问题上的推广。逻辑回归...
分类：
其他好文 时间：
2015-07-13 15:27:02
阅读次数：
343
原文：http://blog.csdn.net/dongtingzhizi/article/details/15962797Logistic回归总结作者：洞庭之子微博：洞庭之子-Bing（2013年11月）PDF下载地址：http://download.csdn.net/detail/lewsn20...
分类：
其他好文 时间：
2015-07-12 17:05:19
阅读次数：
141
最近求职真慌，一方面要看机器学习，一方面还刷代码。还是静下心继续看看课程，因为觉得实在讲的太好了。能求啥样搬砖工作就随缘吧。这节课的核心就在如何把kernel trick到logistic regression上。首先把松弛变量的表达形式修改一下，把constrained的形式改成unconstra...
分类：
其他好文 时间：
2015-07-09 19:34:53
阅读次数：
137
在上一篇中提到的Logistic回归是利用最大似然概率的思想和梯度上升算法确定θ，从而确定f(θ)。本篇将介绍另一种求解最大似然概率?(θ)的方法，即牛顿迭代法。
在牛顿迭代法中，假设一个函数是，求解θ值使得f(θ)=0。在图1中可知，
图1
选择一个点，对应函数值为,并将对应的切线与x轴相交的点记为，所以 ,依此类推可知牛顿迭代规律。
为了求得最大似然概率?(θ)，让,...
分类：
其他好文 时间：
2015-07-07 16:52:26
阅读次数：
249
Python source code:gradient_boosting_regression.pyfrom sklearn import ensemblefrom sklearn.metrics import mean_squared_error# Fit regression modelpara...
分类：
编程语言 时间：
2015-07-05 23:50:23
阅读次数：
166
SVM是用来解决非线性分类问题的。PART I 引入首先我们假设样本线性可分【稍后我们还会去掉这个假设】我们把之前logistic回归里面吗定义的那一坨稍微修改一下：令g(z)=1 (z>=0) or -1 (z=0由上式和约束条件可以得出：【证明：设存在w'使得gi(w')>0，那么就可以取...
分类：
其他好文 时间：
2015-07-05 16:27:41
阅读次数：
195
Evernote的同步分享：Machine Learning—Linear Regression 版权声明：本文博客原创文章。博客，未经同意，不得转载。
分类：
系统相关 时间：
2015-07-05 16:15:35
阅读次数：
170
本文为《Kernel Logistic Regression and the Import Vector Machine》的阅读笔记是技法课的课外阅读Abstract:基于KLR kernel logistic regression，能自然延伸到多分类问题提供属于各类的概率也有类似support v...
分类：
系统相关 时间：
2015-07-04 23:30:28
阅读次数：
215
A note on matrix implementations将J对softmax的权重W和每个word vector进行求导：尽量使用矩阵运算（向量化），不要使用for loop。模型训练中有两个开销比较大的运算：矩阵乘法f=Wx和指数函数expSoftmax(=logistic regression) is not very powerfulsoftmax只是在原来的向量空间中给出了一些lin...
分类：
其他好文 时间：
2015-07-04 22:20:10
阅读次数：
283
