在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。 1. 梯度 在微积分里面，对多元函数的参数求?偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数 ...
分类：
其他好文 时间：
2017-05-03 17:30:08
阅读次数：
207
梯度下降法在凸优化中应用很广泛。经常使用于求凸函数极值。梯度是个向量。其形式为 一般是表示函数上升最快的方向。因此。我们仅仅须要每一步往梯度方向走一小步。终于就能够到达极值点，其表现形式为： 初始点为x0。 然后往梯度的反方向移动一小步r到x1。 再次往梯度反方向移动r到x2，... ...。终于会 ...
分类：
其他好文 时间：
2017-04-27 23:20:51
阅读次数：
433
一、梯度下降法 1.什么是梯度下降法 顺着梯度下滑，找到最陡的方向，迈一小步，然后再找当前位，置最陡的下山方向，再迈一小步… 通过比较以上两个图，可以会发现，由于初始值的不同，会得到两个不同的极小值，所以权重初始值的设定也是十分重要的，通常的把W全部设置为0很容易掉到局部最优解，一般可以按照高斯分布 ...
分类：
其他好文 时间：
2017-04-16 16:08:11
阅读次数：
234
引言 梯度下降法 (Gradient Descent Algorithm，GD) 是为目标函数J(θ)，如代价函数(cost function), 求解全局最小值（Global Minimum）的一种迭代算法。 为什么使用梯度下降法 为什么使用梯度下降法 我们使用梯度下降法最小化目标函数J(θ)。在 ...
分类：
编程语言 时间：
2017-04-10 10:53:29
阅读次数：
246
1. 感知机学习模型 感知机是一个二分类的线性分类问题，求解是使误分类点到超平面距离总和的损失函数最小化问题。采用的是随机梯度下降法，首先任意选取一个超平面w0和b0，然后用梯度下降法不断地极小化目标损失函数，极小化过程中不是一次使所有误分类点的梯度下降，而是一次随机选取一个误分类点使其梯度下降。假 ...
分类：
其他好文 时间：
2017-04-07 23:42:03
阅读次数：
400
梯度下降法的作用是求到一种方案，使得拟合过程中的损失函数最小(结果可能只为局部最优值)，除此之外还有最小二乘法等方法。 关于此方法详细的阐述参见：http://www.cnblogs.com/LeftNotEasy/archive/2010/12/05/mathmatic_in_machine_le ...
分类：
其他好文 时间：
2017-04-04 00:31:54
阅读次数：
153
在机器学习的优化问题中，梯度下降法和牛顿法是常用的两种凸函数求极值的方法，他们都是为了求得目标函数的近似解。在逻辑斯蒂回归模型的参数求解中，一般用改良的梯度下降法，也可以用牛顿法。由于两种方法有些相似，我特地拿来简单地对比一下。下面的内容需要读者之前熟悉两种算法。 梯度下降法 梯度下降法用来求解目标 ...
分类：
其他好文 时间：
2017-04-01 00:44:54
阅读次数：
177
摘要：本系列主要对tf的一些常用概念与方法进行描述。本文主要针对tensorflow的模型训练Training与测试Testing等相关函数进行讲解。为‘Tensorflow一些常用基本概念与函数’系列之四。 1、序言 本文所讲的内容主要为以下列表中相关函数。函数training()通过梯度下降法为 ...
分类：
其他好文 时间：
2017-03-30 23:36:58
阅读次数：
573
转载：http://blog.csdn.net/zouxy09/article/details/8775518 目录： 一、概述 二、背景 三、人脑视觉机理 四、关于特征 4.1、特征表示的粒度 4.2、初级（浅层）特征表示 4.3、结构性特征表示 4.4、需要有多少个特征？ 五、Deep Lear ...
分类：
其他好文 时间：
2017-03-28 17:05:39
阅读次数：
265
LRN LRN全称为Local Response Normalization，局部相应归一化层。 message LRNParameter { optional uint32 local_size = 1 [default = 5]; optional float alpha = 2 [defaul... ...
分类：
其他好文 时间：
2017-03-15 11:55:37
阅读次数：
1486
