本系列内容大部分来自Standford公开课machine learning中Andrew老师的讲解，附加自己的一些理解，编程实现和学习笔记。第一章 Logistic regression1.逻辑回归逻辑回归是一种监督学习的分类算法，相比较之前的线性回归算法，差别在于它是一个分类算法，这也意味着y不...
分类：
其他好文 时间：
2015-04-12 11:56:50
阅读次数：
225
再谈多项式回归，本节再次提及多项式回归分析，理解过拟合现象，并深入cross-validation(交叉验证),regularization(正则化)框架，来避免产生过拟合现象，从更加深入的角度探讨理论基础以及基于R如何将理想照进现实。...
分类：
编程语言 时间：
2015-04-10 18:10:29
阅读次数：
354
转载请注明出处: http://xiahouzuoxin.github.io/notes/课程计划Linear Regression与预测问题Locally Weighted Linear RegressionLogistic Regression与分类问题Stanford机器学习课程的主页是： http://cs229.stanford.edu/课程计划主讲人Andrew Ng是机器学习界的大牛...
分类：
其他好文 时间：
2015-04-09 15:38:07
阅读次数：
271
这篇文章将介绍过拟合和欠拟合的概念，并且介绍局部加权回归算法。过拟合和欠拟合之前在线性回归中，我们总是将单独的x作为我们的特征，但其实我们可以考虑将，甚至x的更高次作为我们的特征，那么我们通过线性回归得到的就将是一个多次函数了。我们可以想象当我们只用x作为我们的特征的时候，我们的数据可能实际呈现的样...
分类：
其他好文 时间：
2015-04-08 21:08:58
阅读次数：
236
Shooting算法是Wenjiang提出的一种优化Lasso(L1 Regularization)和Bridge Regression的算法, 本文以Lasso为例.对于线性回归问题$\mathbb{y}=X\mathbb{\beta}+\epsilon$, 普通最小二乘法(OLS, ordina...
分类：
其他好文 时间：
2015-04-06 15:39:06
阅读次数：
175
前面两篇回归（一）（二）复习了线性回归，以及L1与L2正则——lasso和ridge regression。特别描述了lasso的稀疏性是如何产生的。在本篇中介绍一下和lasso可以产生差不多效果的两种方法：stagewise和LARS...
分类：
其他好文 时间：
2015-04-06 14:15:37
阅读次数：
3088
这是UFLDL的编程练习。Weight decay（Softmax 回归有一个不寻常的特点：它有一个“冗余”的参数集）后的cost function和梯度函数：
cost function：J(θ)=?1m??∑i=1m∑j=1k1{y(i)=j}logeθTjx(i)∑kl=1eθTlx(i)??+λ2∑i=1k∑j=0nθ2ij\begin{align}
J(\theta) = - \frac{...
分类：
其他好文 时间：
2015-04-04 16:47:26
阅读次数：
402
1、在Config.pm中有这样一个参数$nClass = 32; # number of regression classes就是回归类的数量，我如果调整这个参数，像康世胤调整HMM状态数一样，会不会得到好的结果2、这个需要做个实验，验证一下。
分类：
其他好文 时间：
2015-04-02 22:18:02
阅读次数：
146
在Mahout实现的机器学习算法见下表算法类算法名中文名分类算法Logistic Regression逻辑回归Bayesian贝叶斯SVM支持向量机Perceptron感知器算法Neural Network神经网络Random Forests随机森林Restricted Boltzmann Mach...
分类：
编程语言 时间：
2015-04-02 01:16:53
阅读次数：
178
这篇博客针对的AndrewNg在公开课中未讲到的，线性回归梯度下降的学习率进行讨论，并且结合例子讨论梯度下降初值的问题。线性回归梯度下降中的学习率上一篇博客中我们推导了线性回归，并且用梯度下降来求解线性回归中的参数。但是我们并没有考虑到学习率的问题。我们还是沿用之前对于线性回归形象的理解：你站在山顶...
分类：
系统相关 时间：
2015-03-29 00:33:32
阅读次数：
300
