现实生活中，当我们需要测量某一值时，我们的测量仪器总是不能得到准确值，这其中伴随着一个测量噪声 举一个实际的例子，假设我们需要测量电阻的值 ...
分类：
其他好文 时间：
2019-12-20 16:39:23
阅读次数：
95
利用机器学习的基本方法——线性回归方法，来学习一阶RC电路的阶跃响应，从而得到RC电路的结构特征——时间常数τ（即R*C）。回答无疑是肯定的，但问题是怎样通过最小二乘法、正规方程，以更多的采样点数来降低信号采集噪声对τ估计值的影响。另外，由于最近在捣鼓Jupyter和numpy这些东西，正好尝试不用... ...
分类：
其他好文 时间：
2019-12-19 13:26:25
阅读次数：
157
线性回归的定义 利用回归方程(函数)对一个或多个自变量(特征值)和因变量(目标值)之间关系进行建模的一种分析方式 线性回归的分类 线性关系 非线性关系 损失函数 最小二乘法 线性回归优化方法 正规方程 梯度下降法 正规方程 -- 一蹴而就 利用矩阵的逆,转置进行一步求解 只是适合样本和特征比较少的情 ...
系列博客，原文在笔者所维护的github上：https://aka.ms/beginnerAI， 点击star加星不要吝啬，星越多笔者越努力。 5.1 正规方程解法 英文名是 Normal Equations。 对于线性回归问题，除了前面提到的最小二乘法可以解决一元线性回归的问题外，也可以解决多元线 ...
分类：
其他好文 时间：
2019-12-12 13:11:57
阅读次数：
155
系列博客，原文在笔者所维护的github上：https://aka.ms/beginnerAI， 点击star加星不要吝啬，星越多笔者越努力。 4.2 梯度下降法 有了上一节的最小二乘法做基准，我们这次用梯度下降法求解w和b，从而可以比较二者的结果。 4.2.1 数学原理 在下面的公式中，我们规定x ...
分类：
其他好文 时间：
2019-12-05 13:04:24
阅读次数：
108
相关问题： 1.弄清除为什么有这个东西，线性回归有什么不足，延申出了逻辑回归，线性回归为什么会不足以解决问题。 2.逻辑回归能怎么解决问题。自己能说出什么一般的例子，解决这些问题的推导过程是什么？ 3.用到什么数学工具来构造逻辑回归的损失函数，为什么要选择这样的损失函数形式？ 4.怎么样最终解决这个 ...
分类：
其他好文 时间：
2019-11-27 16:07:35
阅读次数：
112
最小二乘法（又称最小平方法）是一种数学优化技术。它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。其他一些优化问题也可通过最小化能量或最大化熵用最小二乘法来表达。 考虑超定方程组（ ...
分类：
其他好文 时间：
2019-11-24 21:05:28
阅读次数：
64
原文链接：http://tecdat.cn/?p=8890 主成分回归（PCR）的方法 本质上是使用第一个方法的普通最小二乘（OLS）拟合?来自预测变量的主成分（PC）。这带来许多优点： 预测变量的数量实际上没有限制。 相关的预测变量不会破坏回归拟合。 但是，在许多情况下，执行类似于PCA的分解要明 ...
分类：
编程语言 时间：
2019-11-22 19:09:48
阅读次数：
154
最小二乘法拟合三维直线 eryar@163.com 在《高等数学》的书中给出了最小二乘法拟合直线的具体实例，但是那个例子是拟合二维直线的f(t)=at+b，那么三维直线怎么使用最小二乘法来拟合呢？我们先来看看《高等数学》书中的例子，由于任何实数的平方都是正数或零，因此我们可以考虑选取常数a, b，使 ...
分类：
其他好文 时间：
2019-11-21 14:22:53
阅读次数：
191
最小二乘法 最小二乘法可以更广泛地应用于非线性方程中，我们可以使用一些已知的离散的点，拟合出一条与这些离散点最为接近的曲线，从而可以分析出这些离散点的走向趋势。 设x和y之间的函数关系由直线方程： y=ax+b 公式中有两个待定参数，b代表截距，a代表斜率。问题在于，如何找到“最合适”的a和b使得尽 ...
分类：
其他好文 时间：
2019-11-13 00:27:46
阅读次数：
122
