正交: 正交是线性代数的概念，是垂直这一直观概念的推广。作为一个形容词，只有在一个确定的内积空间中才有意义。若内积空间中两向量的内积为0，则称它们是正交的。如果能够定义向量间的夹角，则正交可以直观的理解为垂直。物理中：运动的独立性，也可以用正交来解释。 对于一般的希尔伯特空间， 也有内积的概念， 所 ...
分类：
其他好文 时间：
2020-03-18 11:29:06
阅读次数：
131
线性回归（又名普通最小二乘法） import mglearn from sklearn.linear_model import LinearRegression from sklearn.model_selection import train_test_split # X.shape->(60,1 ...
分类：
其他好文 时间：
2020-03-15 00:01:19
阅读次数：
89
在各类比赛中经常出现预测回归问题，一般使用scikit learn的模型，本文就对这些类库的使用做一个总结，总结时注重自己做比赛中的使用经验。 1. Ordinary Least Squares（最小二乘法） 最简单的线性模型，损失函数是平方差损失，常用梯度下降法求解参数。 使用要点：这个模型不像其 ...
分类：
其他好文 时间：
2020-02-29 15:05:01
阅读次数：
105
ISOMAP 2000 ISOMAP 把任意两点的测地距离作为流形的几何描述，保留数据的全局测地距离。 LLE 2000 假设高维非线性流形的局部区域满足线性关系，将每个点用其局部邻域的点在最小二乘意义下的最优线性来表示，通过局部线性重构系数来描述流形的局部拓扑结构，然后通过保留这个局部线性重构关系 ...
分类：
其他好文 时间：
2020-02-27 17:35:23
阅读次数：
106
目录 最小二乘法的原理与要解决的问题 最小二乘法的代数法解法 最小二乘法的矩阵法解法 最小二乘法的局限性和适用场景 常见问题 最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。 一、最小二乘法的原理与要... ...
分类：
其他好文 时间：
2020-02-23 22:09:40
阅读次数：
149
在对simulink建模的过程中，有时候会遇到sample time出现错误的问题，比如下图是我在使用simulink自带的Recursive least square Estimator最小二乘估计器去估计质量和坡度的模型截图。 但是在仿真的时候就会报错，报错内容如下：‘Error in port ...
分类：
其他好文 时间：
2020-02-23 21:51:23
阅读次数：
575
目录 简述 梯度下降与梯度上升 梯度下降法算法详解 梯度下降法大家族（BGD，SGD，MBGD） 梯度下降法和其他无约束优化算法的比较 总结 在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法(在【2】中已... ...
分类：
其他好文 时间：
2020-02-23 21:50:51
阅读次数：
65
一、接着上一节说正定矩阵 所谓正定，就是$x^TAx > 0$（$except \space for \space x = 0$）成立，我们通常也可以通过特征值，主元，行列式来判断 虽然我们知道了什么是正定矩阵，如何判断正定矩阵，那么正定矩阵是从何而来的呢？主要来自：最小二乘法 实际上，大量的物理问 ...
分类：
其他好文 时间：
2020-02-22 13:38:46
阅读次数：
84
线性回归形如y=w*x+b的形式，变量为连续型（离散为分类）。一般求解这样的式子可采用最小二乘法原理，即方差最小化， loss=min（y_pred-y_true）^2。若为一元回归，就可以求w与b的偏导，并令其为0，可求得w与b值；若为多元线性回归， 将用到梯度下降法求解，这里的梯度值w的偏导数， ...
分类：
其他好文 时间：
2020-02-16 14:37:25
阅读次数：
59
线性最小二乘法 1. 原理： 通过最小化误差的平方和寻找数据的最佳函数匹配，如图(点到直线距离最短） 2. 求解 假设直线为： 最小二乘模型： 求解： 方程化： 解得： 代码实现： ###最小二乘实现 import numpy as np import matplotlib.pyplot as pl ...
分类：
其他好文 时间：
2020-02-07 22:40:33
阅读次数：
130
