出处：http://hawstein.com/posts/dp-knapsack.html 一切都要从一则故事说起。 话说有一哥们去森林里玩发现了一堆宝石，他数了数，一共有n个。 但他身上能装宝石的就只有一个背包，背包的容量为C。这哥们把n个宝石排成一排并编上号： 0,1,2,…,n-1。第i个宝石 ...
分类：
其他好文 时间：
2017-03-31 15:31:46
阅读次数：
229
转自:here 注意下面说的全局最优是特殊的情况，一般还是梯度下降的方法还是很容易变成局部最优。 梯度下降（GD）是最小化风险函数、损失函数的一种常用方法，随机梯度下降和批量梯度下降是两种迭代求解思路，下面从公式的角度对两者进行分析。 下面的h(x)是要拟合的函数，J(theta)损失函数，thet ...
分类：
其他好文 时间：
2017-03-28 19:35:47
阅读次数：
204
DNN,CNN,RNN:1.DNN:深度神经网络，或称多层感知机。解决早期单层感知机对于复杂函数不能模拟的情况。其形式为层之间全连接。实用sig等连续性函数模拟神经对机理的响应，训练算法使用 BP。 2.问题：只是名义上的深层。 a：随着层数的加深，优化函数更加容易陷入局部最优解。并且会越来越偏离 ...
分类：
其他好文 时间：
2017-03-24 15:45:13
阅读次数：
128
meanshift算法思想其实很简单：利用概率密度的梯度爬升来寻找局部最优。它要做的就是输入一个在图像的范围，然后一直迭代（朝着重心迭代）直到满足你的要求为止。但是他是怎么用于做图像跟踪的呢？这是我自从学习meanshift以来，一直的困惑。而且网上也没有合理的解释。经过这几天的思考，和对反向投影的 ...
分类：
其他好文 时间：
2017-03-07 23:04:30
阅读次数：
192
1. 朴素贝叶斯分类器 朴素贝叶斯分类器采用了“属性条件独立性假设”：对已知类别，假设所有属性相互独立，即假设每个属性独立的对分类结果发生影响。 d为属性数目，xi 为 x 在第 i 个属性上的取值，朴素贝叶斯分类器的表达式为： 令 Dc 表示训练集 D 中第 c 类样本的集合，例如西瓜数据集有两个 ...
分类：
编程语言 时间：
2017-03-07 10:42:32
阅读次数：
455
1、主要内容 2、梯度下降 （1）、批量梯度下降 2、随机梯度下降 区别：就是更新变量时使用全部的数据还是一个样本进行更新 当都是凸函数的两者鲜果相同，当使用神经网络时使用SGD可以跳出局部最优解，批量梯度下降则不行； 3、mini-batch 梯度下降 噪声随着样本数量的增加而减少； 3、正则 b ...
分类：
其他好文 时间：
2017-02-19 12:18:19
阅读次数：
273
题目 代码 动态规划法（重点） 解析 最优解的问题一般都可以用动态规划算法 动态规划算法： 1.全局最优解中一定包含某个局部最优解，但不一定包含前一个局部最优解，因此需要记录之前的所有最优解 2.动态规划的关键是状态转移方程，即如何由以求出的局部最优解来推导全局最优解 3.边界条件：即最简单的，可以 ...
分类：
编程语言 时间：
2017-02-18 17:05:15
阅读次数：
172
一，贪心算法的设计思想 ? 从问题的某一个初始解出发逐步逼近给定的目标，每一步都作一个不可回溯的决策,尽可能地求得最好的解。当达到某算法中的某一步不需要再继续前进时，算法停止。 二，贪心算法的基本性质 1）贪心选择性质 所谓贪心选择性质是指所求问题的整体最优解可以通过一系列局部最优的选择，即贪心选择 ...
分类：
编程语言 时间：
2017-02-07 22:31:42
阅读次数：
224
顾名思义，贪心算法总是作出在当前看来最好的选择。也就是说贪心算法并不从整体最优考虑，它所作出的选择只是在某种意义上的局部最优选择。当然，希望贪心算法得到的最终结果也是整体最优的。虽然贪心算法不能对所有问题都得到整体最优解，但对许多问题它能产生整体最优解。如单源最短路经问题，最小生成树问题等。在一些情 ...
分类：
编程语言 时间：
2017-01-31 10:33:22
阅读次数：
268
概述：动态规划在查找优很多重叠子问题的情况的最优解时有效。他将问题重新组合成子问题。为了避免多次解决这些子问题，他们的结果都逐渐被计算并被保存。因此，动态规划保存递归时的结果，因而不会在解决同样的问题时花费时间。 动态规划之能应用于最优子结构问题，最优子结构的意思是局部最优解能决定全局最优解（对有些 ...
分类：
其他好文 时间：
2017-01-29 11:42:00
阅读次数：
176
