参考资料 台湾大学 《机器学习基石》视频 Ng 《机器学习》视频 周志华《机器学习》 "线性回归原理小结" "Lasso回归算法： 坐标轴下降法与最小角回归法小结" [TOC] 写作提纲 1. 基础线性回归模型&损失函数 2. 优化方法（极小化损失函数） 1. 最小二乘法 OLS 代数法解法 矩阵法 ...
分类：
其他好文 时间：
2019-01-26 22:40:43
阅读次数：
270
设原图像为f(x,y)，畸变后的图像为F(X',Y')，要将F(X',Y')恢复为f(x,y)，就是要找到(X',Y')坐标与(x,y)坐标的转换关系，这个转换关系称为坐标变换，表示为(x,y)=T(X',Y')。 景物在成像过程中产生的扭曲，会使图像的比例失调，可用仿射变换来校正各种畸变。先计算出 ...
分类：
其他好文 时间：
2019-01-25 11:32:56
阅读次数：
211
前置知识 矩阵的逆 知识地图 首先我们将了解一种叫升维的方法，用已有特征构造更多的特征。接着通过对空间与投影建立一定的概念后，推导出最小二乘法。 当特征数量不足时 在上一篇《初识线性回归》中，我们假设要处理的问题有足够的样本数量 ...
分类：
其他好文 时间：
2019-01-17 00:38:40
阅读次数：
249
1.假设回归的目标函数式为 （其中x0为1） 当 n = 1时表示一元函数，对一元函数进行回归分析 2.将误差记为：ε 要使得ε最小，然后样本真实值 y 和模型训练预测的值之间是有误差 ε ,再假设训练样本的数据量很大的时候,根据中心极限定律可以得到 ∑ε 满足 （u ,δ²）高斯分布的；由于方程有 ...
分类：
其他好文 时间：
2019-01-16 13:55:44
阅读次数：
238
1.最小二乘法解的的推导，几何意义解释最小二乘法 2.从概率的角度解释最小二乘法 结论：最小二乘法等价于最大似然估计(条件是噪音需要满足高斯分布) 3. L2正则化 岭回归 4. 从概率的角度看正则化 结论：正则化之后的最小二乘法等价于最大后验概率估计(条件是噪音和先验分布都满足高斯分布) ...
分类：
其他好文 时间：
2019-01-15 17:12:00
阅读次数：
233
一、使用非负最小二乘法 "Non negative matrix factorisation using non negative least squares" 问题 给定一个矩阵$A$,将其分解成两个非负的因子： $$ A_{M \times N} \approx W_{M \times K} \ ...
分类：
其他好文 时间：
2019-01-13 16:06:10
阅读次数：
177
讲一下自己的惨痛经历！三个方面： 1、数学？不存在的，老子只学专业课！ 2、数学？不学不行，老子还得去补一下！ 3、数学？不仅仅要学，还要深入学！ 1、数学？不存在的，老子只学专业课！ 学习之初，很多人都会有这样的困惑。包括我在内，我想学计算机专业，老师你就直接单枪直入，教我专业性的东西啊，光教一些 ...
分类：
其他好文 时间：
2019-01-08 19:26:06
阅读次数：
126
Ordinary Least Square 最小二乘法 提到最小二乘法要先提到拟合，拟合Fitting是数值分析的基础工具之一，在二维平面上分为直线拟合和曲线拟合，直线拟合找到一条直线尽可能穿过所有的点，注意这里是尽可能，因为只要超过2个点，就有可能发生直线不能精确穿过所有点的情况，这时确定直线的原 ...
分类：
编程语言 时间：
2019-01-04 00:20:57
阅读次数：
262
参考：https://blog.csdn.net/zengxiantao1994/article/details/70210662 Matlab代码： 效果： 自己C语言实现： 公式： ...
分类：
编程语言 时间：
2018-12-23 16:55:52
阅读次数：
246
作者：bitcarmanlee 来源：CSDN 原文：https://blog.csdn.net/bitcarmanlee/article/details/51589143 最小二乘是每个上过大学的同学都接触过的概念与知识点(当然可能纯文科的同学没接触过，但是一般纯文科的同学也不会看这篇文章好像)。 ...
分类：
其他好文 时间：
2018-12-18 13:10:51
阅读次数：
170
