本帖主要内容转自：https://www.61mon.com/index.php/archives/183/ next函数 优化的next函数 Kmp算法 ...
分类：
编程语言 时间：
2017-09-26 01:05:18
阅读次数：
380
摘要： 1.最小二乘法 2.梯度下降法 3.最大（对数）似然估计（MLE） 4.最大后验估计（MAP） 5.期望最大化算法（EM） 6.牛顿法 7.拟牛顿迭代（BFGS） 8.限制内存-拟牛顿迭代（L-BFGS） 9.深度学习中的梯度优化算法 10.各种最优化方法比较 拟牛顿法和牛顿法区别，哪个收敛 ...
分类：
其他好文 时间：
2017-09-22 16:34:16
阅读次数：
211
冒泡排序思想（从小到大）： 比较相邻两个元素，如果第一个元素比第二个元素大，就交换他们的位置。第一趟，从第一个元素开始，第一个元素和第二个元素比较，如果第一个元素比第二个元素大，则交换位置；接下来比较第二、第三个元素，大的放后面，以此类推，直到最后两个。第一趟比较结束后，最大的元素放到了最后一个位置 ...
分类：
编程语言 时间：
2017-09-19 21:25:30
阅读次数：
293
梯度下降法，是当今最流行的优化（optimization）算法，亦是至今最常用的优化神经网络的方法。本文旨在让你对不同的优化梯度下降法的算法有一个直观认识，以帮助你使用这些算法。我们首先会考察梯度下降法的各种变体，然后会简要地总结在训练（神经网络或是机器学习算法）的过程中可能遇到的挑战。 目录： 梯 ...
分类：
编程语言 时间：
2017-09-16 22:05:54
阅读次数：
278
前言 本文仅对一些常见的优化方法进行直观介绍和简单的比较，各种优化方法的详细内容及公式只好去认真啃论文了，在此不赘述。 SGD 此处的SGD指mini-batch gradient descent，关于batch gradient descent, stochastic gradient desce ...
分类：
编程语言 时间：
2017-09-16 21:56:48
阅读次数：
263
梯度下降算法，参考Edwin《最优化导论》8.2章节，算法采用go语言实现。 此处算法仍然存在疑惑，主要是获取梯度下降时如何确定步长，即使采用割线法获取最优步长，那么割线法的初始值又如何确定？？ 下面程序中虽然采用了牛顿法获取极值，但非常依赖初始取值范围！！ ...
分类：
编程语言 时间：
2017-09-16 17:23:12
阅读次数：
154
斐波那契数列搜索，参考Edwin《最优化导论》第四版7.3章节，算法采用go语言实现。 ...
分类：
编程语言 时间：
2017-09-16 17:16:28
阅读次数：
205
割线法获取极值，参考Edwin《最优化导论》第四版 7.6章节，算法采用go语言实现。 ...
分类：
编程语言 时间：
2017-09-16 17:14:35
阅读次数：
242
