1、综述 scikit-learn的线性回归模型都是通过最小化成本函数来计算参数的，通过矩阵乘法和求逆运算来计算参数。当变量很多的时候计算量会非常大，因此我们改用梯度下降法，批量梯度下降法每次迭代都用所有样本，快速收敛但性能不高，随机梯度下降法每次用一个样本调整参数，逐渐逼近，效率高，本节我们来利用 ...
分类：
其他好文 时间：
2017-03-13 13:15:21
阅读次数：
401
本次回归章节的思维导图版总结已经总结完毕，但自我感觉不甚理想。不知道是模型太简单还是由于自己本身的原因，总结出来的东西感觉很少，好像知识点都覆盖上了，但乍一看，好像又什么都没有。不管怎样，算是一次尝试吧，慢慢地再来改进。在这里再梳理一下吧！ 线性回归（Linear Regression） 给定一些数 ...
分类：
其他好文 时间：
2017-03-12 15:29:11
阅读次数：
329
梯度下降法先随机给出参数的一组值，然后更新参数，使每次更新后的结构都能够让损失函数变小，最终达到最小即可。 在梯度下降法中，目标函数其实可以看做是参数的函数，因为给出了样本输入和输出值后，目标函数就只剩下参数部分了，这时可以把参数看做是自变量，则目标函数变成参数的函数了。 梯度下降每次都是更新每个参 ...
分类：
其他好文 时间：
2017-03-08 10:44:00
阅读次数：
117
如果感觉自己看不懂，那就看看我博客的梯度下降法，博文最后的感知机也算最简单的BP神经网络吧，用的也是反馈(w,b)：典型梯度下降法 BP网络的结构 BP网络的结构如下图所示，分为输入层(Input)，隐含层（Hidden），输出层(Output)。 输入层的结点个数取决于输入的特征个数。 输出层的结 ...
分类：
其他好文 时间：
2017-03-06 20:30:19
阅读次数：
176
梯度下降机器学习优化 什么是梯度下降法梯度下降（Gradient Descent）是最基础的优化算法。在微积分中，梯度表示函数增长速度最快的方向。在机器学习问题中，我们的目标常常是求极大值或者极小值。梯度下降法就是沿着梯度的不断走的方法，当求极小值时沿与梯度相反的方向用通俗的话说，梯度下降法就像下山... ...
分类：
其他好文 时间：
2017-02-26 13:43:01
阅读次数：
242
感知机是一种线性分类模型，属于判别模型 f(x) = sign(wx+b) ; f(x)∈{+1,-1}; 其中M为错分类点的集合M。 感知机学习算法是误分类驱动的，采用随机梯度下降法进行参数更新。 w< w + γyixi b< b + γyi γ为学习率，反复迭代直到所有样本均分类正确。 总结： ...
分类：
编程语言 时间：
2017-02-19 11:09:43
阅读次数：
213
梯度下降法是机器学习和神经网络学科中我们最早接触的算法之一。但是对于初学者，我们对于这个算法是如何迭代运行的从而达到目的有些迷惑。在这里给出我对这个算法的几何理解，有不对的地方请批评指正！ 梯度下降法定义 （维基百科）梯度下降法，基于这样的观察：如果实值函数 在点 处可微且有定义，那么函数 在 点沿 ...
分类：
其他好文 时间：
2017-02-14 23:58:53
阅读次数：
482
上段时间学习caffe，caffe的solver优化方法中涉及到梯度下降法。当时对梯度下降法的概念和原理都很模糊，就专门去学习了下，现在把自己的理解记录下来，一方面加深印象，一方面也方便随时查阅。如果有理解错误的地方，希望看到的予以指正，谢谢。 一、什么是梯度？梯度和方向导数的关系是什么？（简述，需 ...
分类：
其他好文 时间：
2017-01-17 00:13:23
阅读次数：
201
第2章 感知机 感知机是二类分类的线性分类模型，其输入为实例的特征向量，感知机对应于输入空间（特征空间）中将实例划分为正负两类的分离超平面，属于判别模型。导入基于误分类的损失函数，利用梯度下降法对损失函数进行极小化，求得感知机模型。感知机学习算法分为原始形式和对偶形式，是神经网络和支持向量机的基础。 ...
分类：
其他好文 时间：
2017-01-07 22:32:59
阅读次数：
305
在机器学习中，监督式学习（Supervised Learning）通过定义一个模型，并根据训练集上的数据估计最优参数。梯度下降法（Gradient Descent）是一个广泛被用来最小化模型误差的参数优化算法。梯度下降法通过多次迭代，并在每一步中最小化成本函数（cost function）来估计模型 ...
分类：
编程语言 时间：
2017-01-03 13:01:15
阅读次数：
1420
