在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。 1. 梯度 在微积分里面，对多元函数的参数求?偏导数，把求得的各个参数的偏导数以向量的形式写出来，就是梯度。比如函数 ...
分类：
其他好文 时间：
2017-05-03 17:30:08
阅读次数：
207
还在用数据库的like来实现产品的全文检索吗？抛弃她，用ElasticSearch吧~
分类：
其他好文 时间：
2017-04-14 17:21:28
阅读次数：
205
转自:here 注意下面说的全局最优是特殊的情况，一般还是梯度下降的方法还是很容易变成局部最优。 梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种迭代求解思路，下面从公式的角度对两者进行分析。 下面的h(x)是要拟合的函数，J(theta)损失函数，thet ...
分类：
其他好文 时间：
2017-03-28 19:35:47
阅读次数：
204
题目 代码 动态规划法（重点） 解析 最优解的问题一般都可以用动态规划算法 动态规划算法： 1.全局最优解中一定包含某个局部最优解，但不一定包含前一个局部最优解，因此需要记录之前的所有最优解 2.动态规划的关键是状态转移方程，即如何由以求出的局部最优解来推导全局最优解 3.边界条件：即最简单的，可以 ...
分类：
编程语言 时间：
2017-02-18 17:05:15
阅读次数：
172
概述：动态规划在查找优很多重叠子问题的情况的最优解时有效。他将问题重新组合成子问题。为了避免多次解决这些子问题，他们的结果都逐渐被计算并被保存。因此，动态规划保存递归时的结果，因而不会在解决同样的问题时花费时间。 动态规划之能应用于最优子结构问题，最优子结构的意思是局部最优解能决定全局最优解（对有些 ...
分类：
其他好文 时间：
2017-01-29 11:42:00
阅读次数：
176
首先确定一个前提 该问题是或可能满足 最优子结构，greedy选择性 最优子结构是说。。子结构一定能对全局最优解作贡献(?) greedy选择性应该是说。。如果当前我们不贪心地选本来看上去或者就是正确的决策an 那么我们得到结果s,只要证明交换an得到s`比不交换更好，即可证明这个问题。。 所以说贪 ...
分类：
其他好文 时间：
2016-12-23 22:00:23
阅读次数：
173
梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种迭代求解思路，下面从公式和实现的角度对两者进行分析，如有哪个方面写的不对，希望网友纠正。 下面的h(x)是要拟合的函数，J(theta)损失函数，theta是参数，要迭代求解的值，theta求解出来了那最终要拟 ...
分类：
其他好文 时间：
2016-12-17 11:36:03
阅读次数：
194
梯度下降法(最速下降法): 求解无约束最优化问题的一种最常用的方法，当目标函数是凸函数时，梯度下降法的解是全局最优解.一般情况下，其解不保证是全局最优解.梯度下降法的收敛速度也未必是很快的. ###############################Matlab################# ...
分类：
其他好文 时间：
2016-10-23 02:06:34
阅读次数：
346
概念储备： （The least square method）和（least square error） 狭义的最小二乘方法，是线性假设下的一种有闭式解的参数求解方法，最终结果为全局最优； 梯度下降法，是假设条件更为广泛（无约束）的，一种通过迭代更新来逐步进行的参数优化方法，最终结果为局部最优； 广 ...
分类：
其他好文 时间：
2016-09-17 19:15:14
阅读次数：
140
什么是贪心算法？贪心算法从步步最优，到达全局最优。什么时候能够使用贪心算法？一般来说，凡是经过数学归纳法证明可以采用贪心法的情况都应该采用它，因为它具有高效性。通常还有另外一个方法来判断，如果一个问题具有这两大性质，那么使用贪心法来对其求解总能求得最优解。1..
分类：
编程语言 时间：
2016-09-01 00:36:33
阅读次数：
184
