数学基础与计算机基础 算法基础方面 牛顿法、随机梯度下降法、拟牛顿法、BFGS 传统机器学习 深度学习 CNN-基础学习与应用 十一期间 RNN 算法应用方面 工程方面 kaggle 十一期间把第一个项目流程完整走下来 java hadoop spark mapreduce c++? http:// ...
分类：
其他好文 时间：
2017-09-29 11:00:23
阅读次数：
167
梯度下降法（gradient descent），又名最速下降法（steepest descent）是求解无约束最优化问题最常用的方法，它是一种迭代方法，每一步主要的操作是求解目标函数的梯度向量，将当前位置的负梯度方向作为搜索方向（因为在该方向上目标函数下降最快，这也是最速下降法名称的由来）。梯度下降 ...
分类：
编程语言 时间：
2017-09-22 19:04:33
阅读次数：
229
摘要： 1.最小二乘法 2.梯度下降法 3.最大（对数）似然估计（MLE） 4.最大后验估计（MAP） 5.期望最大化算法（EM） 6.牛顿法 7.拟牛顿迭代（BFGS） 8.限制内存-拟牛顿迭代（L-BFGS） 9.深度学习中的梯度优化算法 10.各种最优化方法比较 拟牛顿法和牛顿法区别，哪个收敛 ...
分类：
其他好文 时间：
2017-09-22 16:34:16
阅读次数：
211
原帖地址：https://zhuanlan.zhihu.com/p/25765735 在应用机器学习算法时，我们通常采用梯度下降法来对采用的算法进行训练。其实，常用的梯度下降法还具体包含有三种不同的形式，它们也各自有着不同的优缺点。 下面我们以线性回归算法来对三种梯度下降法进行比较。 一般线性回归函... ...
分类：
其他好文 时间：
2017-09-20 14:20:03
阅读次数：
199
在求解机器学习算法的优化问题时，梯度下降是经常采用的方法之一。 梯度下降不一定能够找到全局最优解，有可能是一个局部最优解。但如果损失函数是凸函数，梯度下降法得到的一定是全局最优解。 梯度下降的相关概念： 1、步长或学习率（learning rate）：步长和学习率是一个东西，只是在不同的地方叫法不一 ...
分类：
其他好文 时间：
2017-09-17 21:04:27
阅读次数：
275
梯度下降法，是当今最流行的优化（optimization）算法，亦是至今最常用的优化神经网络的方法。本文旨在让你对不同的优化梯度下降法的算法有一个直观认识，以帮助你使用这些算法。我们首先会考察梯度下降法的各种变体，然后会简要地总结在训练（神经网络或是机器学习算法）的过程中可能遇到的挑战。 目录： 梯 ...
分类：
编程语言 时间：
2017-09-16 22:05:54
阅读次数：
278
我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。随着学习的深入，博主越来越发现最优化方法的 ...
分类：
其他好文 时间：
2017-09-16 22:05:03
阅读次数：
237
深度解读最流行的优化算法：梯度下降 By 机器之心2016年11月21日 15:08 梯度下降法，是当今最流行的优化（optimization）算法，亦是至今最常用的优化神经网络的方法。本文旨在让你对不同的优化梯度下降法的算法有一个直观认识，以帮助你使用这些算法。我们首先会考察梯度下降法的各种变体， ...
分类：
编程语言 时间：
2017-09-15 12:11:20
阅读次数：
704
