1.最小二乘法解的的推导，几何意义解释最小二乘法 2.从概率的角度解释最小二乘法 结论：最小二乘法等价于最大似然估计(条件是噪音需要满足高斯分布) 3. L2正则化 岭回归 4. 从概率的角度看正则化 结论：正则化之后的最小二乘法等价于最大后验概率估计(条件是噪音和先验分布都满足高斯分布) ...
分类：
其他好文 时间：
2019-01-15 17:12:00
阅读次数：
233
一、使用非负最小二乘法 "Non negative matrix factorisation using non negative least squares" 问题 给定一个矩阵$A$,将其分解成两个非负的因子： $$ A_{M \times N} \approx W_{M \times K} \ ...
分类：
其他好文 时间：
2019-01-13 16:06:10
阅读次数：
177
1、线性回归 y=θx+ε，其中y=[y1,y2,y3,...,yn]T，θ=[θ1,θ2,...]，x=[x1,x2,x3,...,xn]T，ε（残差）符合正态分布 那么对于该模型，就是在损失函数最小的前提条件下，寻找θ取值的过程。其中，损失函数采用最小二乘的方法。 2、对于求θ，有三种方法： 1 ...
分类：
其他好文 时间：
2019-01-10 22:20:07
阅读次数：
165
讲一下自己的惨痛经历！三个方面： 1、数学？不存在的，老子只学专业课！ 2、数学？不学不行，老子还得去补一下！ 3、数学？不仅仅要学，还要深入学！ 1、数学？不存在的，老子只学专业课！ 学习之初，很多人都会有这样的困惑。包括我在内，我想学计算机专业，老师你就直接单枪直入，教我专业性的东西啊，光教一些 ...
分类：
其他好文 时间：
2019-01-08 19:26:06
阅读次数：
126
定义：任意$A=A_{m \times n}$，方程$AX=b$可产生新方程$A^HAX=A^Hb$，叫$AX=b$的正规方程。 引理：正规方程组$A^HAX=A^Hb$一定有解（相容），且有特解$X_0=A^+b$(使$A^HAX=A^Hb$) 证明： \[{A^H}A{X_0} = {A^H}A ...
分类：
其他好文 时间：
2019-01-07 10:32:20
阅读次数：
259
Ordinary Least Square 最小二乘法 提到最小二乘法要先提到拟合，拟合Fitting是数值分析的基础工具之一，在二维平面上分为直线拟合和曲线拟合，直线拟合找到一条直线尽可能穿过所有的点，注意这里是尽可能，因为只要超过2个点，就有可能发生直线不能精确穿过所有点的情况，这时确定直线的原 ...
分类：
编程语言 时间：
2019-01-04 00:20:57
阅读次数：
262
参考：https://blog.csdn.net/zengxiantao1994/article/details/70210662 Matlab代码： 效果： 自己C语言实现： 公式： ...
分类：
编程语言 时间：
2018-12-23 16:55:52
阅读次数：
246
作者：bitcarmanlee 来源：CSDN 原文：https://blog.csdn.net/bitcarmanlee/article/details/51589143 最小二乘是每个上过大学的同学都接触过的概念与知识点(当然可能纯文科的同学没接触过，但是一般纯文科的同学也不会看这篇文章好像)。 ...
分类：
其他好文 时间：
2018-12-18 13:10:51
阅读次数：
170
梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（GradientDescent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。在机器学习中
分类：
编程语言 时间：
2018-12-12 17:38:25
阅读次数：
180
classnumpy.poly1d(c_or_r,r=False,variable=None)[source]参数:c_or_r:array_like多项式的系数,或者如果第二个参数的值是True,多项式的根(值多项式的求值结果为0)。例如,poly1d([1,2,3])返回一个对象,代表:x^2+2+3,而poly1d((1、2、3),真正的)返回一个对象,代表:(x-1)(x-2)(3)=x^
分类：
编程语言 时间：
2018-12-11 18:18:22
阅读次数：
332
