线性回归最常用的是以最小二乘法作为拟合方法，但是该方法比较容易受到强影响点的影响，因此我们在拟合线性回归模型时，也将强影响点作为要考虑的条件。对于强影响点，在无法更正或删除的情况下，需要改用更稳健的拟合方法，最小一乘法就是解决此类问题的方法。最小二乘法由于采用的是残差平方和，而强影响点的残差通常会比 ...
分类：
其他好文 时间：
2016-06-27 23:07:14
阅读次数：
229
目录 1 如何更新权值向量？2 最小均方法（LMS）与感知机：低效的民主3 最小二乘法：完美的民主4 支持向量机：现实的民主5 总结6 参考资料 1 如何更新权值向量？ 在关于线性模型你可能还不知道的二三事（一、样本）中我已提到如何由线性模型产生样本，在此前提下，使用不同机器学习算法来解决回归问题的 ...
分类：
其他好文 时间：
2016-06-16 19:40:20
阅读次数：
219
1. 基础回顾 特别详细的总结，参考 http://blog.csdn.net/wangzhiqing3/article/details/7446444 矩阵的奇异值分解 SVD 矩阵与向量相乘的结果与特征值，特征向量有关。 数值小的特征值对矩阵-向量相乘的结果贡献小 1）低秩近似 2）特征降维 2 ...
分类：
编程语言 时间：
2016-06-08 15:54:45
阅读次数：
852
一. 最小二乘法建立模型 关于最小二乘法矩阵分解，我们可以参阅： 一、矩阵分解模型。 用户对物品的打分行为可以表示成一个评分矩阵A(m*n)，表示m个用户对n各物品的打分情况。如下图所示： 其中，A(i,j)表示用户user i对物品item j的打分。但是，ALS 的核心就是下面这个假设：的打分矩 ...
分类：
其他好文 时间：
2016-06-08 15:23:02
阅读次数：
578
最小二乘法Least Square Method，做为分类回归算法的基础，有着悠久的历史（由马里·勒让德于1806年提出）。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。
那什么是最小二乘法呢？别着急，我们先从...
分类：
编程语言 时间：
2016-05-27 12:19:23
阅读次数：
398
常用的数据挖掘&机器学习知识(点) Basis(基础)： MSE(MeanSquare Error 均方误差)，LMS(Least MeanSquare 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(Maximum LikelihoodEstimation最大似 ...
分类：
系统相关 时间：
2016-05-22 13:54:55
阅读次数：
395
聊一聊这半年下来对最小二乘法的学习心得，以及顺带玩一玩Python中的leastsq函数。...
分类：
编程语言 时间：
2016-05-18 19:11:52
阅读次数：
295
1 最小二乘法概述 自从开始做毕设以来，发现自己无时无刻不在接触最小二乘法。从求解线性透视图中的消失点，m元n次函数的拟合，包括后来学到的神经网络，其思想归根结底全都是最小二乘法。 1-1 “多线→一点”视角与“多点→一线”视角 最小二乘法非常简单，我把它分成两种视角描述： （1）已知多条近似交汇于 ...
分类：
编程语言 时间：
2016-05-15 00:32:51
阅读次数：
512
学过一点统计的人都会知道最小二乘法，最简单的曲线拟合方式。最小二乘法是通过最小化误差平方和来求解模型参数ω\omega的，记为：
Min12∑i=1n{y(x,ω)?t}2 Min\frac{1}{2}\sum_{i=1}^{n}\{y(x,\omega)-t\}^{2}
但这一优化目标难免出现模型过拟合的情况，所以通常会在误差平方和之上在加上一项λωTω\lambda\omega^{T}\o...
分类：
其他好文 时间：
2016-05-13 04:19:46
阅读次数：
214
使用若干自变量并建立公式,以预测目标变量 目标变量是连续型的,则称其为回归分析 (1)一元线性回归分析 y=kx+b sol.lm<-lm(y~x,data) abline(sol.lm) 使模型误差的平方和最小，求参数k和b，称为最小二乘法 k=cov(x,y)/cov(x,x) b=mean(y ...
分类：
编程语言 时间：
2016-05-11 11:03:32
阅读次数：
230
