算法原理：算法通过最小化约束条件4ac-b^2 = 1，最小化距离误差。利用最小二乘法进行求解，首先引入拉格朗日乘子算法获得等式组，然后求解等式组得到最优的拟合椭圆。参考文献：Andrew W. Fitzgibbon, Maurizio Pilu and Robert B. Fisher. Dire...
分类：
其他好文 时间：
2015-07-06 19:49:27
阅读次数：
365
继上一篇基本最小二乘法和带部分空间约束的最小二乘法，它们要么易过拟合，要么不易求解，下面介绍 l2约束的最小二乘法，又叫正则化最小二乘法，岭回归。
一个模型的复杂程度与系数有关，最简单的模型是直接给所有系数赋值为0，则该模型总会预测出0值，模型虽然足够简单，但是没有意义，因为它不能有效预测。
定义模型的复杂度为：
由于我们的目的是使模型不要过于复杂，所以让上述值小是有意义的，因此新的目标...
分类：
其他好文 时间：
2015-07-06 12:25:59
阅读次数：
2146
本文主要讲解基本最小二乘法和带有约束条件的最小二乘法。
一 基本最小二乘法
最小二乘法是回归中最为基础的算法。它是对模型的输出和训练样本输出的平方误差（这里还乘以了1/2只是为了求导简化）为最小时的参数 进行学习。
特别地，对于线性模型有：
求导可得：
其中设计矩阵：
%基本最小二乘法
clear all;
close all;
n = 50;
N ...
分类：
其他好文 时间：
2015-07-04 23:34:03
阅读次数：
157
本文是Gilbert Strang的线性代数导论课程笔记。课程地址：http://v.163.com/special/opencourse/daishu.html第十五课时：子空间投影教授说要让这讲名垂青史，想必此讲是重中之重吧。讲投影。怎样投影，为什么要投影到其他子空间。从一个简单例子看：向量b到...
分类：
其他好文 时间：
2015-07-03 15:39:16
阅读次数：
238
从上一篇可知，在监督学习里最重要的就是确定假想函数h(θ),即通过使得代价函数J(θ)最小，从而确定h(θ).
上一篇通过梯度下降法求得J(θ)最小，这篇我们将使用矩阵的方法来解释。
1、普通最小二乘法
利用矩阵的方式，m个训练集（x,y）可以如下表示：
因此,所以
根据 可知，
为使J(θ)最小，通过求导推导可得：
...
分类：
其他好文 时间：
2015-07-02 12:09:01
阅读次数：
207
最小二乘拟合曲线原理，以及c++详细代码，最后给出了测试用例，将一组数据拟合成二次曲线。...
分类：
编程语言 时间：
2015-06-30 18:27:29
阅读次数：
220
课程3课程3
大纲
多元线性回归的最小二乘解
1几何解释
2广义逆的奇异性
3无偏估计
岭回归
1几何意义
2岭回归的性质
3的选择原则
4用岭回归选择变量
5岭回归存在的问题
6通过R演练
LASSO
1LASSO vs 岭回归
11弹性网
2求解过程LAR算法
1.大纲
扔给你一堆数据，可能有成百上千各变量,怎样变量选择，怎样排除多重共线性问题：
要么丰厚的业务知识丰富，根据经验来选择；
要么...
分类：
其他好文 时间：
2015-06-26 11:05:23
阅读次数：
231
分类模型如下： 回归问题：学习的结果是连续的，比如房价等等
分类问题：学习的结果是非连续的，分成某几个类
梯度下降例子：
：条件：
对于输入X有n个特征值。X = {x1,x2,x3,x4,.......,xnx_1, x_2, x_3, x_4, ....... ,x_n}
一共有m组输入。X1,X2,......,XmX_1, X_2, ...... , X_m
结果：
根据给出的数据得到函数...
分类：
其他好文 时间：
2015-06-20 17:06:49
阅读次数：
207
对SVM的个人理解之前以为SVM很强大很神秘，自己了解了之后发现原理并不难，不过，“大师的功力在于将idea使用数学定义它，使用物理描述它”，这一点在看SVM的数学部分的时候已经深刻的体会到了，最小二乘法、梯度下降法、拉格朗日乘子、对偶问题等等被搞的焦头烂额。在培乐园听了讲课之后才算比较清晰的了解了...
分类：
其他好文 时间：
2015-06-19 21:32:03
阅读次数：
278
分类模型如下： 回归问题：学习的结果是连续的，比如房价等等
分类问题：学习的结果是非连续的，分成某几个类
回归问题(Regression)例子：
：条件：
对于输入X有n个特征值。X = {x1,x2,x3,x4,.......,xnx_1, x_2, x_3, x_4, ....... ,x_n}
一共有m组输入。X1,X2,......,XmX_1, X_2, ...... , X_m
结果：...
分类：
其他好文 时间：
2015-06-19 10:40:03
阅读次数：
180
