最近求职真慌，一方面要看机器学习，一方面还刷代码。还是静下心继续看看课程，因为觉得实在讲的太好了。能求啥样搬砖工作就随缘吧。这节课的核心就在如何把kernel trick到logistic regression上。首先把松弛变量的表达形式修改一下，把constrained的形式改成unconstra...
分类：
其他好文 时间：
2015-07-09 19:34:53
阅读次数：
137
Python source code:gradient_boosting_regression.pyfrom sklearn import ensemblefrom sklearn.metrics import mean_squared_error# Fit regression modelpara...
分类：
编程语言 时间：
2015-07-05 23:50:23
阅读次数：
166
Evernote的同步分享：Machine Learning—Linear Regression 版权声明：本文博客原创文章。博客，未经同意，不得转载。
分类：
系统相关 时间：
2015-07-05 16:15:35
阅读次数：
170
本文为《Kernel Logistic Regression and the Import Vector Machine》的阅读笔记是技法课的课外阅读Abstract:基于KLR kernel logistic regression，能自然延伸到多分类问题提供属于各类的概率也有类似support v...
分类：
系统相关 时间：
2015-07-04 23:30:28
阅读次数：
215
A note on matrix implementations将J对softmax的权重W和每个word vector进行求导：尽量使用矩阵运算（向量化），不要使用for loop。模型训练中有两个开销比较大的运算：矩阵乘法f=Wx和指数函数expSoftmax(=logistic regression) is not very powerfulsoftmax只是在原来的向量空间中给出了一些lin...
分类：
其他好文 时间：
2015-07-04 22:20:10
阅读次数：
283
作业四的代码题目主要是基于ridge regression来做的，并加上了各种cross-validation的情况。由于ridge regression是有analytic solution，所以直接求逆矩阵就OK了，过程并不复杂。只有在做cross-validation的时候遇上了些问题。#en...
分类：
其他好文 时间：
2015-07-01 20:32:28
阅读次数：
217
正则化的提出，是因为要解决overfitting的问题。以Linear Regression为例：低次多项式拟合的效果可能会好于高次多项式拟合的效果。这里回顾上上节nonlinear transform的课件：上面的内容说的是，多项式拟合这种的假设空间，是nested hypothesis；因此，能...
分类：
其他好文 时间：
2015-06-30 21:36:17
阅读次数：
356
逻辑回归优化方法-L-BFGS逻辑回归的优化方法是一个经典的问题，如果我们把它视为一个最大熵模型，那么我们知道最早的优化方法是IIS，这个方法就不细讲了，因为它速度很慢。后来发现在最优化领域中非常常用的l-BFGS方法对于Logistic Regression的收敛速度优化是不错的。l-BFGS方法...
分类：
其他好文 时间：
2015-06-30 18:02:00
阅读次数：
132
Regularized Linear Regression with scikit-learnEarlier we covered Ordinary Least Squares regression. In this posting we will build upon this foundatio...
分类：
其他好文 时间：
2015-06-29 21:51:57
阅读次数：
115
关注了Q18~Q20三道编程作业题。这三道题都与Logistic Regression相关。Q18~19是用全量梯度下降实现Logistic Regression；Q20要求用随机梯度下降实现Logistic Regression。这三题的代码都何在一个py文件中了。个人觉得，这道题的程序设计，完全...
分类：
其他好文 时间：
2015-06-28 16:49:11
阅读次数：
266
