矩阵链乘最优化算法(括号化算法)，关键要找到A[i]...A[j]矩阵链相乘做最少乘法次数（存在m[][]中）的相乘顺序，记录在矩阵s[][]中。再利用递归定义矩阵链乘算法。递归的出口是只有一个矩阵（直接返回）或者两个矩阵（返回相乘后的结果矩阵）的情况。 1 //#include"OptimalMa ...
分类：
其他好文 时间：
2016-06-18 18:24:20
阅读次数：
166
在前一篇文章中，我们给出了感知器和逻辑回归的求解，还将SVM算法的求解推导到了最后一步，在这篇文章里面，我们将给出最后一步的求解。也就是我们接下来要介绍的序列最小最优化算法。 序列最小最优化算法（SMO）： 首先回顾一下。我们使用广义拉格朗日函数，将目标函数和限制条件写到一起，然后证明了原始问题能够 ...
分类：
编程语言 时间：
2016-06-13 17:12:10
阅读次数：
1361
我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些)指标达到最优的一些学科的总称。随着学习的深入，博主越来越发现最优化方法的重要性，学习和工作中遇到的大多问题都可以建模成一种最优化模型进行求解，比如我们现在学习的机器学习算法...
分类：
编程语言 时间：
2016-06-12 03:11:51
阅读次数：
283
Gauss-Newton算法是解决非线性最优问题的常见算法之一，最近研读DPPTAM开源项目代码，又碰到了，索性深入看下。本次讲解内容如下：基本数学名词识记牛顿法推导、算法步骤、计算实例高斯牛顿法推导(如何从牛顿法派生)、算法步骤、编程实例高斯牛顿法优劣总结一、基本概念定义1.非线性方程定义及最优化方法简述 指因变量与自变量之间的关系不是线性的关系，比如平方关系、对数关系、指数关系、三角函数关...
分类：
编程语言 时间：
2016-06-12 02:38:36
阅读次数：
202
SMO例子： 1 from numpy import * 2 import matplotlib 3 import matplotlib.pyplot as plt 4 5 def loadDataSet(fileName): 6 dataMat = []; labelMat = [] 7 fr = ...
分类：
编程语言 时间：
2016-06-11 00:33:08
阅读次数：
214
;红黑树只不过是AVL树的变种而已 ,平衡方式耕地,意味着比AVL旋转的次数少,长应用于关联数组 红黑树和AVL树在实际开发中比较常用 ;AVL树二叉平衡树 适合在内存中使用速度会达到最优化,要是在文件中那么速度大大降低 ;文件中适合用b+树,B+树读文件一次读的孩子结点比较多,一次read读取尽量 ...
分类：
其他好文 时间：
2016-06-05 23:16:56
阅读次数：
165
这篇文章主要介绍梯度下降、牛顿法和拉格朗日对偶性的过程和一些原理的证明。 梯度下降： 假设$f(x),x\in R^{n}$，有一阶的连续偏导数，要求解的无约束最优化问题是： $\min \limits_{x\in R^{n}}f(x)$ $x^*$表示目标函数$f(x)$的极小点。 首先解释一下为 ...
分类：
其他好文 时间：
2016-06-04 15:02:32
阅读次数：
915
这一周的内容是近似算法(Approximation Algorithm)。
对于许多的问题的算法，我们通常目标在于设计一个可以在多项式时间内运行的算法。然而，上一节的NP问题告诉我们这样的算法不一定存在。近似算法其实是针对NP难问题的一种退让，对于许多P不等于NP的最优化问题，无法在多项式时间内找到最优解。因此，如果可以只求一个我们可以接受的解，而不是非要最优解，那么可能存在一个多项式时间的算法...
分类：
编程语言 时间：
2016-06-02 14:07:49
阅读次数：
349
梯度下降法（gradient descent），又名最速下降法（steepest descent）是求解无约束最优化问题最常用的方法，它是一种迭代方法，每一步主要的操作是求解目标函数的梯度向量，将当前位置的负梯度方向作为搜索方向（因为在该方向上目标函数下降最快，这也是最速下降法名称的由来）。
梯度下降法特点：越接近目标值，步长越小，下降速度越慢。
直观上来看如下图所示：
这里每一个圈...
分类：
编程语言 时间：
2016-06-02 13:46:56
阅读次数：
197
[原创]用“人话”解释不精确线搜索中的Armijo-Goldstein准则及Wolfe-Powell准则 转载请注明出处：http://www.codelast.com/ line search（一维搜索，或线搜索）是最优化（Optimization）算法中的一个基础步骤/算法。它可以分为精确的一维 ...
分类：
其他好文 时间：
2016-06-01 22:44:03
阅读次数：
3570
