最小二乘法 一、什么是最小二乘法 最小二乘法作为一种数学优化技术，通过最小化误差的平方和寻找数据的最佳函数匹配。（重点：寻找匹配函数） 以身高体重为例，我们有这样的生活常识，在无系统误差的情况下，身高与体重近似的是一个线性关系，即y=θ1·x+θ0。其中y是体重，x是身高。此时，我们就可以用最小二乘 ...
分类：
其他好文 时间：
2019-03-04 23:47:20
阅读次数：
347
梯度下降： 1，批量梯度（BGD），随机梯度下降法（SGD），小批量梯度下降法（MBGD）的区别 2，和最小二乘比较 1，梯度下降法需要选择步长，而最小二乘法不需要。 2，梯度下降法是迭代求解，最小二乘法是计算解析解。 3，最小二乘仅适用数据量较小的情况下 3，和牛顿法比较 1，梯度下降法是梯度求解 ...
分类：
其他好文 时间：
2019-02-22 10:39:45
阅读次数：
184
二分类问题 多分类问题 连续变量问题 四、连续变量问题（回归） （1）距离 （2）残差 （3）残差平方和（SSE）： 真实值与预测值之间误差的平方和。 （3-1）均方根误差（MSE = mean square error）：真实值与预测值之间误差的平方和的均值。（最小二乘） 均方差越小越好，即最小二 ...
分类：
其他好文 时间：
2019-02-14 00:21:48
阅读次数：
327
通常我们使用的最小二乘都需要预先设定一个模型，然后通过最小二乘方法解出模型的系数。 而大多数情况是我们是不知道这个模型的，比如这篇博客中z=ax^2+by^2+cxy+dx+ey+f 这样的模型。 局部加权线性最小二乘就不需要我们预先知道待求解的模型，因为该方法是基于多个线性函数的叠加，最终只用到了 ...
分类：
其他好文 时间：
2019-02-03 12:55:22
阅读次数：
231
数学相关的知识：集合函数极限，导数，微分，偏导数向量正弦余弦定理最小二乘法矩阵，正交矩阵集合：是指具有某种特定性质的事物的总体，组成集合的事物称为元素。?通常使用大写表示集合，小写表示元素；列举法，描述法?列举法：A={a1,a2,a3,...,an},a1∈A?描述法：B={x|x^2-1=0}，{x|x具有的性质}，方程的解即是组成B集合元素集合性质：?A,B若A的元素都是B集合的元素，则称A
分类：
其他好文 时间：
2019-01-28 01:04:08
阅读次数：
200
参考资料 台湾大学 《机器学习基石》视频 Ng 《机器学习》视频 周志华《机器学习》 "线性回归原理小结" "Lasso回归算法： 坐标轴下降法与最小角回归法小结" [TOC] 写作提纲 1. 基础线性回归模型&损失函数 2. 优化方法（极小化损失函数） 1. 最小二乘法 OLS 代数法解法 矩阵法 ...
分类：
其他好文 时间：
2019-01-26 22:40:43
阅读次数：
270
设原图像为f(x,y)，畸变后的图像为F(X',Y')，要将F(X',Y')恢复为f(x,y)，就是要找到(X',Y')坐标与(x,y)坐标的转换关系，这个转换关系称为坐标变换，表示为(x,y)=T(X',Y')。 景物在成像过程中产生的扭曲，会使图像的比例失调，可用仿射变换来校正各种畸变。先计算出 ...
分类：
其他好文 时间：
2019-01-25 11:32:56
阅读次数：
211
这里用到的还是最小二乘方法，和上一次这篇文章原理差不多。 就是首先构造最小二乘函数，然后对每一个系数计算偏导，构造矩阵乘法形式，最后解方程组。 比如有一个二次曲面：z=ax^2+by^2+cxy+dx+ey+f 首先构造最小二乘函数，然后计算系数偏导（我直接手写了）： 解方程组（下图中A矩阵后面求和 ...
分类：
其他好文 时间：
2019-01-21 13:55:20
阅读次数：
192
前置知识 矩阵的逆 知识地图 首先我们将了解一种叫升维的方法，用已有特征构造更多的特征。接着通过对空间与投影建立一定的概念后，推导出最小二乘法。 当特征数量不足时 在上一篇《初识线性回归》中，我们假设要处理的问题有足够的样本数量 ...
分类：
其他好文 时间：
2019-01-17 00:38:40
阅读次数：
249
1.假设回归的目标函数式为 （其中x0为1） 当 n = 1时表示一元函数，对一元函数进行回归分析 2.将误差记为：ε 要使得ε最小，然后样本真实值 y 和模型训练预测的值之间是有误差 ε ,再假设训练样本的数据量很大的时候,根据中心极限定律可以得到 ∑ε 满足 （u ,δ²）高斯分布的；由于方程有 ...
分类：
其他好文 时间：
2019-01-16 13:55:44
阅读次数：
238
