参考《 Edwin》最优化导论第四版，7.2章节，算法采用go语言实现 ...
分类：
编程语言 时间：
2017-09-16 17:09:29
阅读次数：
195
深度解读最流行的优化算法：梯度下降 By 机器之心2016年11月21日 15:08 梯度下降法，是当今最流行的优化（optimization）算法，亦是至今最常用的优化神经网络的方法。本文旨在让你对不同的优化梯度下降法的算法有一个直观认识，以帮助你使用这些算法。我们首先会考察梯度下降法的各种变体， ...
分类：
编程语言 时间：
2017-09-15 12:11:20
阅读次数：
704
粒子群优化算法属于群智能(swarm intelligence)优化算法。群智能分两种，一种是粒群优化，另一种是蚁群优化。 群智能概念 假设你和你的朋友正在寻宝，每个人有个探测器，这个探测器可以知道宝藏到探测器的距离。你们一群人在找，每个人都可以把信息共享出去，就跟打dota时你可以有你队友的视野， ...
分类：
编程语言 时间：
2017-09-14 18:55:38
阅读次数：
203
前言 以下内容是个人学习之后的感悟，转载请注明出处~ 超参数调试 在深度学习中，超参数有很多，比如学习率α、使用momentum或Adam优化算法的参数（β1，β2，ε）、层数layers、不同层隐藏 单元数hidden units、学习率衰退、mini=batch的大小等。其中一些超参数比其他参数 ...
分类：
其他好文 时间：
2017-09-14 18:34:39
阅读次数：
246
Adaboost为一种集成算法，是对其他算法进行组合的一种方式。 本文将通过单层决策树分类器建立一个Adaboost优化算法，即利用多个弱分类器构建一个强分类器。 弱分类器：分类器性能比随机猜测要略好，但是也不会好太多。 强分类器：分类器性能比随机猜测好很多。 下面结合代码说明Adaboost算法原 ...
分类：
其他好文 时间：
2017-09-09 22:35:44
阅读次数：
304
1、为什么是ML策略 例如：识别cat分类器的识别率是90%，怎么进一步提高识别率呢？ 想法： （1）收集更多数据 （2）收集更多的多样性训练样本 （3）使用梯度下降训练更长时间 （4）尝试Adam代替梯度下降 （5）尝试更大的网络 （6）尝试更小的网络 （7）尝试dropout （8）尝试L2正则 ...
分类：
其他好文 时间：
2017-09-09 09:49:34
阅读次数：
214
https://mp.weixin.qq.com/s/zpZERtWPKljWNAiASBLJxA 根据以上网页自己做的总结： 在机器人社区中，定位与构图问题属于状态估计问题。主流使用的工具可以对给定噪声测量的动态系统进行随机估计，例如扩展卡尔曼滤波器（EKF）或粒子滤波器（PF）。 一些内部传感器 ...
分类：
其他好文 时间：
2017-09-05 12:31:28
阅读次数：
222
前言 以下内容是个人学习之后的感悟，如果有错误之处，还请多多包涵~ 梯度下降法 一、简介 梯度下降法(gradient decent)是一个最优化算法，通常也称为最速下降法。常用于机器学习和人工智能当中用来递归性地 逼近最小偏差模型。 二、原理 梯度下降法，顾名思义，从高处寻找最佳通往低处的方向，然 ...
分类：
其他好文 时间：
2017-08-26 04:49:28
阅读次数：
403
1.理论基础 粒子群算法（particle swarm optimization，PSO）是计算智能领域中的一种生物启发式方法，属于群体智能优化算法的一种，常见的群体智能优化算法主要有如下几类： （1）蚁群算法（Ant Colony Optimization，简称ACO）[1992年提出]； （2）... ...
分类：
编程语言 时间：
2017-08-23 00:38:15
阅读次数：
388
梯度下降优化算法综述 该文翻译自An overview of gradient descent optimization algorithms。 总所周知。梯度下降算法是机器学习中使用非常广泛的优化算法，也是众多机器学习算法中最经常使用的优化方法。差点儿当前每一个先进的(state-of-the-a ...
分类：
编程语言 时间：
2017-08-19 18:50:36
阅读次数：
311
