转自http://www.cnblogs.com/ldphoebe/p/5000769.html 函数间隔的取值并不影响最优化问题的解，因为成比例的改变w和b目标函数和约束条件都不受到影响，所以我们可以让函数间隔为1. 目标函数就变为1/||w||,由于让1/||w||最大化，等价于让分母||w|| ...
分类：
其他好文 时间：
2017-09-24 23:32:53
阅读次数：
2178
梯度下降法（gradient descent），又名最速下降法（steepest descent）是求解无约束最优化问题最常用的方法，它是一种迭代方法，每一步主要的操作是求解目标函数的梯度向量，将当前位置的负梯度方向作为搜索方向（因为在该方向上目标函数下降最快，这也是最速下降法名称的由来）。梯度下降 ...
分类：
编程语言 时间：
2017-09-22 19:04:33
阅读次数：
229
摘要： 1.最小二乘法 2.梯度下降法 3.最大（对数）似然估计（MLE） 4.最大后验估计（MAP） 5.期望最大化算法（EM） 6.牛顿法 7.拟牛顿迭代（BFGS） 8.限制内存-拟牛顿迭代（L-BFGS） 9.深度学习中的梯度优化算法 10.各种最优化方法比较 拟牛顿法和牛顿法区别，哪个收敛 ...
分类：
其他好文 时间：
2017-09-22 16:34:16
阅读次数：
211
定义1：当决策者在决策时，考虑其后代的福利和资源约束，则称该决策者具有利他主义；特别地，某个家庭中的决策者，称为具有利他主义的父辈。 定义2：当一个家庭分为父辈（决策者）和子辈，在某个时间点，父辈将决策权、决策偏好和全部资源全部转交给子辈，则称为代际垂直互动。 定义3：当一个家庭中，任何时刻均存在一 ...
分类：
其他好文 时间：
2017-09-22 15:31:43
阅读次数：
170
我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。随着学习的深入，博主越来越发现最优化方法的 ...
分类：
其他好文 时间：
2017-09-16 22:05:03
阅读次数：
237
梯度下降算法，参考Edwin《最优化导论》8.2章节，算法采用go语言实现。 此处算法仍然存在疑惑，主要是获取梯度下降时如何确定步长，即使采用割线法获取最优步长，那么割线法的初始值又如何确定？？ 下面程序中虽然采用了牛顿法获取极值，但非常依赖初始取值范围！！ ...
分类：
编程语言 时间：
2017-09-16 17:23:12
阅读次数：
154
斐波那契数列搜索，参考Edwin《最优化导论》第四版7.3章节，算法采用go语言实现。 ...
分类：
编程语言 时间：
2017-09-16 17:16:28
阅读次数：
205
割线法获取极值，参考Edwin《最优化导论》第四版 7.6章节，算法采用go语言实现。 ...
分类：
编程语言 时间：
2017-09-16 17:14:35
阅读次数：
242
参考《 Edwin》最优化导论第四版，7.2章节，算法采用go语言实现 ...
分类：
编程语言 时间：
2017-09-16 17:09:29
阅读次数：
195
之前学习Java的时候，用过一个IDE叫做EditPlus,虽然他敲代码的高亮等体验度不及eclipse，但是打开软件特别快捷，现在也用他读python特别方便。 训练算法:：使用梯度上升找到最佳参数 之前看过吴恩达的视频的同学们，听得比较多的就是梯度下降算法，但是梯度上升算法和梯度下降算法本质是是 ...
分类：
其他好文 时间：
2017-09-15 18:44:07
阅读次数：
281
