简言 机器学习的项目,不可避免的需要补充一些优化算法,对于优化算法,爬山算法还是比较重要的.鉴于此,花了些时间仔细阅读了些爬山算法的paper.基于这些,做一些总结. 目录 1. 爬山算法简单描述 2. 爬山算法的主要算法 2.1 首选爬山算法 2.2 最陡爬山算法 2.3 随机重新开始爬山算法 2 ...
分类：
编程语言 时间：
2016-09-14 23:12:47
阅读次数：
795
简言 机器学习的项目,不可避免的需要补充一些优化算法,对于优化算法,爬山算法还是比较重要的.鉴于此,花了些时间仔细阅读了些爬山算法的paper.基于这些,做一些总结. 目录 1. 爬山算法简单描述 2. 爬山算法的主要算法 2.1 首选爬山算法 2.2 最陡爬山算法 2.3 随机重新开始爬山算法 2 ...
分类：
编程语言 时间：
2016-09-14 21:50:27
阅读次数：
547
梯度下降优化算法综述?? 该文翻译自An overview of gradient descent optimization algorithms。?? 总所周知，梯度下降算法是机器学习中使用非常广泛...
分类：
编程语言 时间：
2016-09-09 08:52:38
阅读次数：
416
http://www.cnblogs.com/heaad/archive/2010/12/20/1911614.html （转） 优化算法入门系列文章目录（更新中）： 1. 模拟退火算法 2. 遗传算法 一. 爬山算法 ( Hill Climbing ) 介绍模拟退火前，先介绍爬山算法。爬山算法是一 ...
分类：
编程语言 时间：
2016-08-28 12:32:58
阅读次数：
257
详解深度学习卷积层优化算法Factorized Convolutional Neural Networks。
分类：
Web程序 时间：
2016-08-25 21:23:52
阅读次数：
524
遗传算法（Genetic Algorithm 简称GA）起源于对生物系统所进行的计算机模拟研究，是由一种基于生物遗传和进化机制的适合于复杂系统优化的自适应概率优化算法。 特点：不依赖于梯度信息，不仅不受目标函数连续可微的约束，还可以通过编码来实现任意设定其定义域。 原理：遗传算法从代表问题可能潜在解 ...
分类：
编程语言 时间：
2016-08-21 16:41:49
阅读次数：
903
作为支持向量机系列的基本篇的最后一篇文章，我在这里打算简单地介绍一下用于优化 dual 问题的 Sequential Minimal Optimization (SMO) 方法。确确实实只是简单介绍一下，原因主要有两个：第一这类优化算法，特别是牵涉到实现细节的时候，干巴巴地讲算法不太好玩，有时候讲出... ...
分类：
其他好文 时间：
2016-08-20 21:55:57
阅读次数：
255
dijkstral堆优化算法 struct node { int u,d; node(int u=0,int d=0):u(u),d(d){} bool operator < (const node& t) const{ return d>t.d; } }; struct edge { int u, ...
分类：
编程语言 时间：
2016-08-17 09:00:44
阅读次数：
284
今天看到有个同学分享了关于算法学习的思路，觉得对于我来说启发很大，因此决定把他说的一些东西写下来以提醒自己： 首先是算法的产生背景，适用场合（数据规模，特征维度，是否有Online算法，离散/连续特征处理） 原理推导（最大间隔，软间隔，对偶） 求解方法（随机梯度下降，拟牛顿法等优化算法）； 优缺点， ...
分类：
编程语言 时间：
2016-08-11 00:39:36
阅读次数：
168
1. 梯度下降法（Gradient Descent） 梯度下降法是最早最简单，也是最为常用的最优化方法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度也未必是最快的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该 ...
分类：
编程语言 时间：
2016-08-03 20:03:46
阅读次数：
184
