转自穆晨 阅读目录 前言 基本线性回归解决方案 - 最小二乘法 最小二乘法的具体实现 局部加权线性回归 岭回归 具体方案的制定 小结 阅读目录 前言 基本线性回归解决方案 - 最小二乘法 最小二乘法的具体实现 局部加权线性回归 岭回归 具体方案的制定 小结 回到顶部 前言 本文将系统的介绍机器学习中 ...
分类：
其他好文 时间：
2017-10-08 16:53:09
阅读次数：
129
概念 最小二乘法多项式曲线拟合，根据给定的m个点,并不要求这条曲线精确地经过这些点，而是曲线y=f(x)的近似曲线y= φ(x)。 原理 [原理部分由个人根据互联网上的资料进行总结，希望对大家能有用] 给定数据点pi(xi,yi)，其中i=1,2,…,m。求近似曲线y= φ(x)。并且使得近似曲线与 ...
分类：
其他好文 时间：
2017-10-05 10:59:49
阅读次数：
257
矩阵求导 目录 一、 矩阵求导的基本概念 1. 一阶导定义 2. 二阶导数 二、 梯度下降 1. 方向导数. 1.1 定义 1.2 方向导数的计算公式. 1.3 梯度下降最快的方向 1.4 最速下降方向的判断. 1.5 最速梯度下降的迭代式 2. 牛顿法 2.1 引入一元函数极值判别法 （1）导数分 ...
分类：
其他好文 时间：
2017-10-04 16:41:24
阅读次数：
233
原帖地址：http://www.cnblogs.com/pinard/p/5976811.html最小二乘法是用来做函数拟合或者求函数极值的方法。在机器学习，尤其是回归模型中，经常可以看到最小二乘法的身影，这里就对我对最小二乘法的认知做一个小结。1.最小二乘法的原理与要解决的问题 最小二乘法是由勒让... ...
分类：
其他好文 时间：
2017-09-23 14:28:50
阅读次数：
173
摘要： 1.最小二乘法 2.梯度下降法 3.最大（对数）似然估计（MLE） 4.最大后验估计（MAP） 5.期望最大化算法（EM） 6.牛顿法 7.拟牛顿迭代（BFGS） 8.限制内存-拟牛顿迭代（L-BFGS） 9.深度学习中的梯度优化算法 10.各种最优化方法比较 拟牛顿法和牛顿法区别，哪个收敛 ...
分类：
其他好文 时间：
2017-09-22 16:34:16
阅读次数：
211
1、什么是最小二乘思想？简单地说，最小二乘的思想就是要使得观测点和估计点的距离的平方和达到最小.这里的“二乘”指的是用平方来度量观测点与估计点的远近（在古汉语中“平方”称为“二乘”），“最小”指的是参数的估计值要保证各个观测点与估计点的距离的平方和达到最小。从这个上也可以看出，最小二乘也可用于拟合数 ...
分类：
其他好文 时间：
2017-09-13 15:55:56
阅读次数：
291
这个算法看得一知半解的，无论如何，先把理解的写下来，往后再迭代。还是以问题为导向： 第一个问题，对于简单的线性模型，z=w·x+b，可以用它回归，然后利用最小二乘法求解参数w和b。当这个线性模型和sigmoid函数复合时，就构成了逻辑回归模型。对于sigmoid函数，如下图：其将z（图中的x替换为z ...
分类：
其他好文 时间：
2017-09-12 00:05:55
阅读次数：
201
目录 1.线性最小二乘法 2.多项式拟合方法(polyfit) 3.最小二乘优化：lsqlin，lsqcurvefit，lsqnonlin，lsqnonneg 4.曲线拟合的用户图形界面求法(cftool) 1.线性最小二乘法 运行结果： 2. 多项式拟合方法 3.最小二乘优化 3.1 lsqlin ...
分类：
其他好文 时间：
2017-09-10 19:46:41
阅读次数：
238
参考：http://blog.csdn.net/google19890102/article/details/50522945 0-1损失函数 平方损失函数（最小二乘法） 最小二乘法是线性回归的一种，OLS将问题转化成了一个凸优化问题。在线性回归中，它假设样本和噪声都服从高斯分布（为什么假设成高斯分 ...
分类：
其他好文 时间：
2017-09-06 15:36:50
阅读次数：
234
