摘要： 1.最小二乘法 2.梯度下降法 3.最大（对数）似然估计（MLE） 4.最大后验估计（MAP） 5.期望最大化算法（EM） 6.牛顿法 7.拟牛顿迭代（BFGS） 8.限制内存-拟牛顿迭代（L-BFGS） 9.深度学习中的梯度优化算法 ... ...
分类：
其他好文 时间：
2017-11-12 18:43:11
阅读次数：
324
一、四参数 想要通过控制点计算四参数，首先需要知道四参数的相关原理，推荐这篇文章： http://www.docin.com/p-1197326043.html 根据上面的计算公式，使用最小二乘法计算四参数 二、七参数计算 同样的，要计算七参数必须要了解七参数的模型。这里我们使用布尔沙模型：http ...
分类：
其他好文 时间：
2017-10-30 21:53:30
阅读次数：
300
讨论课提纲： 自我介绍 简单说一下回归的主要问题，给定数据集，找出输入和输出之间的关系，对于一个新的输入可以预测其输出 我们将从两个角度来讨论这个问题，一个是传统的频率学派，利用极大似然估计进行分析，首先利用极大似然估计估计参数，并找出其与最小二乘法之间的联系，然后从几何角度理解最小二乘法。因为样本 ...
分类：
其他好文 时间：
2017-10-29 11:21:34
阅读次数：
197
已知数据点$p_i(x_i, y_i), i = 1, 2, ..., n$，求近似曲线$g(x, y)$， 使得近似曲线与$f(x, y)$的偏差最小。（为了使计算简单，以$f(x, y)-g(x, y)$的平方和最小作为目标函数。） 多项式拟合 设待拟合多项式为：$y = g(x)=a_0+{a ...
分类：
其他好文 时间：
2017-10-28 16:39:28
阅读次数：
212
前言在之前的关于回归问题的讨论中，笔者主要给出了一般原始的线性回归模型（主要以最小二乘法形式进行的）以及其它两种主流的线性回归模型的补充内容，它们主要是为了解决样本之间存在线性相关性的问题，包括岭回归和LASSO回归。一般而言，对于多分类问题，我们希望能将样本的..
分类：
其他好文 时间：
2017-10-17 12:40:19
阅读次数：
188
在机器学习领域，通过对特征的参数调优可以让模型的预测值更接近真实值的常见的两种方法包括最小二乘法和梯度下降方法。目前梯度下降更成为了一种解决问题的方法和思路，在集成学习和深度学习领域都有较多的应用。 ...
分类：
其他好文 时间：
2017-10-16 19:31:18
阅读次数：
240
在之前的文章中，笔者给出了关于最小二乘法相关公式的整体推导过程，最小二乘法本身除了可以利用数据进行相关参数的拟合（主要是系数和偏置），而且作为分类问题中最为简单的模型也有着重要作用，我们也可以将其称作最为简单的线性回归模型（以后需要涉及到支持向量机的问题，..
分类：
其他好文 时间：
2017-10-15 21:17:40
阅读次数：
198
指数分布族前面学习了线性回归和logistic回归。对于\(P(y|x;\theta)\)若y属于实数，满足高斯分布，得到基于最小二乘法的线性回归；若y取{0,1}，满足伯努利分布，得到Logistic回归。这两个算法，其实都是广义线性模型的特例。考虑上述两个分布，伯努利分布和高斯分布：1) 伯努利... ...
分类：
其他好文 时间：
2017-10-14 18:35:39
阅读次数：
172
文章版权由作者李晓晖和博客园共有，若转载请于明显处标明出处：http://www.cnblogs.com/naaoveGIS/ 1.背景 公司某项目中，业主使用了由中科院进行过脱密处理的公网地图，同时提供给我们了几组控制点对。该控制点对为cgcs2000经纬度与脱密经纬度之间的对应关系。 2.解决思 ...
分类：
其他好文 时间：
2017-10-12 17:02:25
阅读次数：
163
转载自http://www.cnblogs.com/qscqesze/ Basis(基础)： MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikel ...
分类：
其他好文 时间：
2017-10-10 14:46:30
阅读次数：
191
