一、序言 Adam是神经网络优化的另一种方法，有点类似上一篇中的“动量梯度下降”，实际上是先提出了RMSprop（类似动量梯度下降的优化算法），而后结合RMSprop和动量梯度下降整出了Adam，所以这里我们先由动量梯度下降引申出RMSprop，最后再介绍Adam。不过，由于RMSprop、Adam ...
分类：
其他好文 时间：
2019-10-30 00:00:33
阅读次数：
357
一、序言 动量梯度下降也是一种神经网络的优化方法，我们知道在梯度下降的过程中，虽然损失的整体趋势是越来越接近0，但过程往往是非常曲折的，如下图所示： 特别是在使用mini-batch后，由于单次参与训练的图片少了，这种“曲折”被放大了好几倍。前面我们介绍过L2和dropout，它们要解决的也是“曲折 ...
分类：
其他好文 时间：
2019-10-29 11:14:30
阅读次数：
93
sigmoid函数：越大的负数越接近0，越大的正数越接近1缺点：（1）造成梯度消失：该函数在靠近1和0的两端，梯度几乎变成0，梯度下降法：梯度乘上学习率来更新参数，如果梯度接近0，那么没有任何信息来更新参数，会造成模型不收敛另外，使用sigmoid函数，在初始化权重时，权重太大，经过激活函数会导致大 ...
分类：
其他好文 时间：
2019-10-28 20:43:09
阅读次数：
116
为高效找到使损失函数的值最小的参数，关于最优化（optimization）提了很多方法。 其中包括： SGD（stochastic gradient descent，随机梯度下降）Momentum（冲量算法）AdagradAdam 各优化算法比较实验（python） # -*- coding: ut ...
分类：
编程语言 时间：
2019-10-28 16:13:48
阅读次数：
82
首先简介梯度法的原理。首先一个实值函数$R^{n} \rightarrow R$的梯度方向是函数值上升最快的方向。梯度的反方向显然是函数值下降的最快方向，这就是机器学习里梯度下降法的基本原理。但是运筹学中的梯度法略有不同，表现在步长的选择上。在确定了梯度方向(或反方向)是我们优化目标函数值的方向后， ...
分类：
编程语言 时间：
2019-10-28 14:50:22
阅读次数：
217
1、HOG特征 方向梯度直方图（Histogram of Oriented Gradient, HOG）特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被广泛应用于图像识别中，尤其在行人检测中获得了 ...
分类：
其他好文 时间：
2019-10-28 00:40:43
阅读次数：
254
[TOC] BP算法的简单实现 首先创建一个父类Fun, 主要定义了 forward: 前向方法，需要子类重定义; Momentum: 一个梯度下降方法; step: 更新系数的方法; zero_grad: 将记录的梯度清空; load: 加载系数; Linear 全连接层 全连接层需要注意的是 $ ...
分类：
其他好文 时间：
2019-10-27 16:47:16
阅读次数：
81
abstract 有两个问题：1.传统算法不适用于高光谱图像的高维数据；2.亚像素级的信息没有被充分利用。因此作者提出了通用的端到端的2维CNN来进行高光谱图像的变化检测。主要贡献：1.引入融合亚像素表示的混合亲和矩阵，挖掘更多的跨通道梯度特征，融合多源信息；2.设计2维CNN在更高的层次有效学习多 ...
分类：
Web程序 时间：
2019-10-26 22:41:14
阅读次数：
168
原文地址：https://www.cnblogs.com/Johnny-z6951/p/11201081.html 梯度下降是一个在机器学习中用于寻找较佳结果（曲线的最小值）的迭代优化算法。梯度的含义是斜率或者斜坡的倾斜度。下降的含义是代价函数的下降。算法是迭代的，意思是需要多次使用算法获取结果，以 ...
分类：
其他好文 时间：
2019-10-26 21:22:47
阅读次数：
80
原文地址：https://blog.csdn.net/weixin_39502247/article/details/80032487 深度学习的优化算法，说白了就是梯度下降。每次的参数更新有两种方式。 第一种，遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种方法每更新一次参 ...
分类：
其他好文 时间：
2019-10-26 17:38:02
阅读次数：
142
