1. 基本形式 f(æ) = ω1 X1 + ω2 X2 十...+ωdXd + b , 2.线性回归 均方误差有非常好的几何意义--它对应了常用的欧几里得距离或简称"欧 氏距离" (Euclidean distance). 基于均方误差最小化来进行模型求解的方法称为"最小二乘法" (least s ...
分类：
其他好文 时间：
2018-04-26 12:05:17
阅读次数：
287
logistic回归 很多时候我们需要基于一些样本数据去预测某个事件是否发生，如预测某事件成功与失败，某人当选总统是否成功等。 这个时候我们希望得到的结果是 bool型的,即 true or false 我们最先想到的是通过最小二乘法求出线性回归模型， 即 Y = WTX = w0x0 + w1x1 ...
分类：
其他好文 时间：
2018-04-20 16:09:41
阅读次数：
246
ALS算法描述： 1、ALS算法用来补全用户评分矩阵。由于用户评分矩阵比较稀疏，将用户评分矩阵进行分解，变成V和U的乘积。通过求得V和U两个小的矩阵来补全用户评分矩阵。 2、ALS算法使用交替最小二乘法来进行求解。 3、ALS分为显示反馈和隐式反馈两种。显示反馈是指用户有明确的评分。对于商品推荐来说 ...
分类：
编程语言 时间：
2018-04-18 11:51:20
阅读次数：
691
有一系列的数据点 {xi,yi}{xi,yi}，我们知道这些数据点近似的落在一个圆上，根据这些数据估计这个圆的参数就是一个很有意义的问题。今天就来讲讲如何来做圆的拟合。圆拟合的方法有很多种，最小二乘法属于比较简单的一种。今天就先将这种。 我们知道圆方程可以写为： (x?xc)2+(y?yc)2=R2 ...
分类：
其他好文 时间：
2018-04-07 22:44:48
阅读次数：
254
线性回归 线性回归(linear regression)是最简单的模型，通过学习一个线性模型来预测输出值。多元线性回归可表示为$$f(x_i)=w^Tx_i+b$$根据最小二乘法，寻找最优$$\hat{w}^*=argmin(y-W\hat{w})^T(y-X\hat{w})$$ ...
分类：
编程语言 时间：
2018-04-05 14:34:00
阅读次数：
274
梯度下降是迭代法的一种，可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函... ...
分类：
其他好文 时间：
2018-04-03 23:53:43
阅读次数：
240
###最小二乘法试验### #error是自定义计算误差的函数，k,b也就是p0是计算初始化值，args是error其余的参数，该函数返回2个值，第一个是k,b的值 import numpy as np from scipy.optimize import leastsq ###采样点(Xi,Yi)... ...
分类：
其他好文 时间：
2018-03-31 21:31:17
阅读次数：
398
最小二乘法大约是1795年高斯在其著名的形体运动轨道预报研究工作中提出的。由于原理简单、收敛较快、易于理解、易于编程实现等特点，在系统参数估计中应用相当广泛。 最小二乘法以CAR模型推导而得，CAR模型如下： 式中，为白噪声，结构参数和 d 均已知，并且 参数估计的任务是根据可测量的输入和输出，确定 ...
分类：
编程语言 时间：
2018-03-27 18:44:24
阅读次数：
795
前言 由于本部分内容讲解资源较多，本文不做过多叙述，重点放在实际问题的应用上。 一、线性回归 线性回归中的线性指的是对于参数的线性的，对于样本的特征不一定是线性的。 线性模型（矩阵形式）：y=XA+e 其中：A为参数向量，y为向量，X为矩阵,e为噪声向量。 对于线性模型，通常采用最小二乘法作为其解法 ...
分类：
其他好文 时间：
2018-03-14 20:42:28
阅读次数：
363
参考资料 【1】 http://blog.csdn.net/google19890102/article/details/27228279 【2】 讲讲共线性问题 http://www.jianshu.com/p/ef1b27b8aee0?from=timeline 【3】 最小二乘法的矩阵形式推导 ...
分类：
其他好文 时间：
2018-03-03 12:17:29
阅读次数：
182
