一、引言 本材料参考Andrew Ng大神的机器学习课程http://cs229.stanford.edu 在上一篇有监督学习回归模型中，我们利用训练集直接对条件概率p(y|x;θ)建模，例如logistic回归就利用hθ(x) = g(θTx)对p(y|x;θ)建模（其中g(z)是sigmoi.....
分类：
其他好文 时间：
2014-11-01 17:46:57
阅读次数：
202
由于第一次实验的实验报告不在这台机器，先写这一算法吧。SGDLR（the Stochastic Gradient Descent for Logistic Regression），要讲解这一算法，首先要把名字拆为几块。1 随机 2 梯度下降 3逻辑回归先贴一篇文章：http://blog.csdn....
分类：
编程语言 时间：
2014-10-31 21:53:01
阅读次数：
389
上一个博文，我们讲了Linear Regression, gradient descent, normal equations和Locally weighted linear regression,这次博文我们重点来学习Logistic regression，这是机器学习非常重要的一种回归模型，可....
分类：
其他好文 时间：
2014-10-30 22:10:48
阅读次数：
273
机器学习实战中也详细描述了梯度上升算法，附件里是一些笔记，再贴一个还不错的帖子转http://blog.csdn.net/wyb_009/article/details/9205151这个算法搞得 我晚上十点打电话给弟弟，问Ln(x)，1/x的导数公式。很惭愧，大学时被我用的出神入化、化成灰我都能认...
分类：
编程语言 时间：
2014-10-24 10:24:57
阅读次数：
894
这是分类算法。之前的回归问题尝试预测的变量y是连续变量，在这个分类算法中，变量y是离散的，y只取{0,1}两个值。一般这种离散二值分类问题用线性回归效果不好。比如x3，y=1，那么当x>3的样本占得比例很大是，线性回归的直线斜率就会越来越小，y=0.5时对应的x判决点就会比3大，造成预测错误。若y取...
分类：
其他好文 时间：
2014-10-19 18:21:19
阅读次数：
179
在logistic方法中，g(z)会生成[0,1]之间的小数，但如何是g(z)只生成0或1？所以，感知器算法将g(z)定义如下：同样令，和logistic回归的梯度上升算法类似，学习规则如下：尽管看起来和之前的学习算法类似，但感知器算法是一种非常简便的学习算法，临界值和输出只能是0或1，是比logi...
分类：
编程语言 时间：
2014-10-19 18:19:15
阅读次数：
240
昨天学习完了Ng的第二课，总结如下：过拟合；欠拟合；参数学习算法；非参数学习算法局部加权回归KD tree最小二乘中心极限定律感知器算法sigmod函数梯度下降/梯度上升二元分类logistic回归
分类：
其他好文 时间：
2014-10-19 17:03:42
阅读次数：
302
本文主要讲解在matlab中实现Linear Regression和Logistic Regression的代码，并不涉及公式推导。具体的计算公式和推导，相关的机器学习文章和视频一大堆，推荐看Andrew NG的公开课。一、线性回归（Linear Regression）方法一、利用公式 :funct...
分类：
其他好文 时间：
2014-10-18 03:00:32
阅读次数：
357
回归： 在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如locally weighted回归，logistic回归，等等。训练集(training set)或者训练数据(traini...
分类：
其他好文 时间：
2014-10-16 00:42:01
阅读次数：
165
回归与梯度下降：回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如locally weighted回归，logistic回归，等等，这个将在后面去讲。用一个很简单的例子来说明回归，这个例...
分类：
其他好文 时间：
2014-10-16 00:32:31
阅读次数：
401
