第一讲：线性回归
Supervised Learning
首先给出一些基本定义，x(i)x^{(i)} 表示输入变量或者输入特征，y(i)y^{(i)} 表示输出变量或者目标值。(x(i),y(i)(x^{(i)}, y^{(i}) 称为一对样本，一组样本
{(x(i),y(i));i=1,2,...,m}\{(x^{(i)}, y^{(i)}); i=1,2,...,m\} 称为训练集，其...
分类：
其他好文 时间：
2015-04-07 09:47:56
阅读次数：
102
Shooting算法是Wenjiang提出的一种优化Lasso(L1 Regularization)和Bridge Regression的算法, 本文以Lasso为例.对于线性回归问题$\mathbb{y}=X\mathbb{\beta}+\epsilon$, 普通最小二乘法(OLS, ordina...
分类：
其他好文 时间：
2015-04-06 15:39:06
阅读次数：
175
前面两篇回归（一）（二）复习了线性回归，以及L1与L2正则——lasso和ridge regression。特别描述了lasso的稀疏性是如何产生的。在本篇中介绍一下和lasso可以产生差不多效果的两种方法：stagewise和LARS...
分类：
其他好文 时间：
2015-04-06 14:15:37
阅读次数：
3088
线性回归简介如下图所示，如果把自变量（也叫independent variable）和因变量（也叫dependent variable）画在二维坐标上，则每条记录对应一个点。线性回规最常见的应用场景则是用一条直线去拟和已知的点，并对给定的x值预测其y值。而我们要做的就是找出一条合适的曲线，也就是找出...
分类：
编程语言 时间：
2015-04-05 16:00:47
阅读次数：
252
http://www.cnblogs.com/jerrylead/archive/2011/03/05/1971867首先说线性回归 我们用X1，X2..Xn 去描述feature里面的分量，比如x1=房间的面积，x2=房间的朝向，等等，我们可以做出一个估计函数：为了如果我们令X0 = 1，就可以用...
分类：
其他好文 时间：
2015-03-29 17:44:58
阅读次数：
115
这篇博客针对的AndrewNg在公开课中未讲到的，线性回归梯度下降的学习率进行讨论，并且结合例子讨论梯度下降初值的问题。线性回归梯度下降中的学习率上一篇博客中我们推导了线性回归，并且用梯度下降来求解线性回归中的参数。但是我们并没有考虑到学习率的问题。我们还是沿用之前对于线性回归形象的理解：你站在山顶...
分类：
系统相关 时间：
2015-03-29 00:33:32
阅读次数：
300
原文http://blog.csdn.net/maverick1990/article/details/11721453欠拟合与过拟合概念本次课程大纲：1、局部加权回归：线性回归的变化版本2、概率解释：另一种可能的对于线性回归的解释3、Logistic回归：基于2的一个分类算法4、感知器算法：对于3...
分类：
其他好文 时间：
2015-03-28 18:33:49
阅读次数：
179
本系列内容均来自Standford公开课machine learning中Andrew老师的讲解，附加自己的一些编程实现和学习笔记。第一章 Linear regression 1.线性回归线性回归是一种监督学习的方法。线性回归的主要想法是给出一系列数据，假设数据的拟合线性表达式为：如何求得参数θ成为...
分类：
系统相关 时间：
2015-03-28 12:47:22
阅读次数：
214
那几年，我学习机器学习的主要内容：
1.机器学习基本导论，机器学习入门了解；
2.线性回归与Logistic。xx业绩预测系统，智能交互统计系统等；
3.岭回归，Lasso，变量选择技术。维度的技巧等技术；
4.降维技术。xx指标设计，具体规范；
5.线性分类器，Knn算法，朴素贝叶斯分类器，文本挖掘。XX智能垃圾消息，垃圾邮件判断，评论智能分析，智能监控统计预警系统呀。
6.决策树，组合提升算...
分类：
其他好文 时间：
2015-03-20 14:27:55
阅读次数：
168
线性回归数据来自于国泰安数据服务中心的经济研究数据库。网址：http://www.gtarsc.com/p/sq/。数据名称为：全国各地区能源消耗量与产量，该数据的年度标识为2006年，地区包括我国30个省，直辖市，自治区（西藏地区无数据）。1.1 数据预处理数据预处理包括的内容非常广泛，包括数据清...
分类：
其他好文 时间：
2015-03-18 17:35:44
阅读次数：
308
