解最小二乘的方法有很多，这里给出常见的三种方法实现。 一是一般方法，之前博客一般都用这种方法。 二是svd分解法，之前有用过svd(见这里，这里和这里)解其他问题，但是没用来解过最小二乘。 三是qr分解法，这个好像没用过。 这里主要总结记录一下实现方法。 代码如下： clear all; close ...
分类：
其他好文 时间：
2020-05-15 21:46:22
阅读次数：
98
Recursive Least Square(RLS) 最小二乘算法(Least Square)解决的问题是一个多元线性拟合问题: $\{a_1,a_2,a_3,...,a_n,b\}$, 其中$a_i$为自变量, $b$为响应值. 在线系统会不断获得新的观测值$\{a_1^i,a_2^i,a_3^ ...
分类：
编程语言 时间：
2020-05-10 14:48:10
阅读次数：
77
MATLAB中的polyfit函数的使用方法 在MATLAB中polyfit函数是用来进行多项式拟合的。其数学原理是基于最小二乘法进行拟合的。具体使用语法是： p = polyfit(x,y,n); % 其中x,y表示需要拟合的坐标点，大小需要一样； n表示多项式拟合的次数。 % 返回值p表示多项式 ...
分类：
其他好文 时间：
2020-05-09 21:29:30
阅读次数：
182
Ridge regression 通过对系数的大小施加惩罚来解决 普通最小二乘法 的一些问题。岭回归系数最小化的是带惩罚项的残差平方和，数学形式如下： min∑i=1p‖Xωi y‖2+α‖ω‖2 其中，α = 0是一个控制缩减量（amount of shrinkage）的复杂度参数：α的值越大，缩 ...
分类：
其他好文 时间：
2020-05-07 20:16:44
阅读次数：
62
线性回归 下面是线性回归的公式推导，没有加上 L2 正则化因子。 假设 y^=Xw\hat y = Xwy^?=Xw，因为 L(w)=∣∣y^?y∣∣22=∣∣Xw?y∣∣22=(Xw?y)T(Xw?y)=wTXTXw?yTXw?wTXTy+yTy, \begin{aligned} L(w) &am ...
分类：
其他好文 时间：
2020-05-02 14:49:35
阅读次数：
94
"TOC" 简介 个人博客: 最小二乘法 就是用过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便的求得未知的数据。 一元线性回归下的最小二乘法 下面来讲解一下最小二乘法(以二维数据为例) 首先,我们得到一组数据($x_1,y_1$), ($x_2,y_2$)...($x_n,y_n ...
分类：
其他好文 时间：
2020-05-02 11:31:33
阅读次数：
94
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 极端到极致的优美 ...
分类：
其他好文 时间：
2020-05-01 10:56:46
阅读次数：
125
1.本节重点知识点用自己的话总结出来，可以配上图片，以及说明该知识点的重要性 回归和分类的区别最主要的一个是连续变量的预测，一个是离散变量的预测 损失函数 最小二乘法之梯度下降 梯度下降的动态图 课堂代码 2.思考线性回归算法可以用来做什么？（大家尽量不要写重复） 线性回归可以应用在流行病学里做一个 ...
分类：
编程语言 时间：
2020-04-22 13:25:49
阅读次数：
75
基本形式 线性模型，具有更好的可解释性，每个参数有表示的意义。 线性回归试图学得一个线性模型以尽可能准确地预测实值输出标记。 要训练w使得代价函数最小，如何选一个w使得代价函数最小？ 最小均方算法(LMS)。基于均方误差最小化来进行模型求解的方法称为“最小二乘法” 然而，显示生活中很多XTX不是满秩 ...
分类：
其他好文 时间：
2020-04-22 00:22:10
阅读次数：
78
本周任务： 请确保熟悉并理解机器学习数学部分常用相关概念: 1.高等数学 1）函数 2）极限 3）导数 4）极值和最值 5）泰勒级数 6）梯度 7）梯度下降 2.线性代数 1）基本概念 2）行列式 3）矩阵 4）最小二乘法 5）向量的线性相关性 3.概率论 1）事件 2）排列组合 3）概率 4）贝叶 ...
分类：
其他好文 时间：
2020-04-16 00:31:31
阅读次数：
60
