2 拉格朗日对偶（Lagrange duality） 先抛开上面的二次规划问题，先来看看存在等式约束的极值问题求法，比如下面的最优化问题： 目标函数是f(w)，下面是等式约束。通常解法是引入拉格朗日算子，这里使用来表示算子，得到拉格朗日公式为 L是等式约束的个数。 然后分别对w和求偏导，使得偏导数等...
分类：
其他好文 时间：
2015-11-26 12:50:25
阅读次数：
235
无论是研究图像处理还是做机器学习，我们不免发现最优化理论在其中的重要应用。因为很多时候我们都要在一个可能的范围内求极值。求极值的方法很多，但工程应用中最常被用到的都是以“欧拉-拉格朗日方程”为基础的方法，又称为变分法。理解泛函这个概念对于变分法非常重要。很多人认为，泛函分析是一门非常难非常难的数学。好在，我们并不用掌握它的全部内容，本文所谈到内容将为你打开“变分法”世界的大门！...
分类：
其他好文 时间：
2015-11-12 13:46:36
阅读次数：
353
堆排序
上一篇博客讲了堆这种数据结构，它提供了一种接口getMax接口，好消息是获得最大值的时间复杂度仅仅为O(lgn),因此联想到之前的选择排序算法，
每次从剩下的未排序元素中找到极值元素，将其放入对应的位置。
由于一般的选择排序在寻找最大值时需要遍历数组，遍历数组的复杂度为O(n)，因此造成了时间的浪费，如若将待排序的数组进行一系列整理，
例如将其整理成有特点的堆这种数据结构。那么我们...
分类：
编程语言 时间：
2015-11-12 13:45:21
阅读次数：
264
泰勒定理(带Lagrange余项)：如果函数$f(x)$在$x_0$的领域$U(x_0)$内具有直到$(n+1)$阶的导函数，则$\forall x\in U(x_0)$，存在$\theta\in(0,1)$，使得：$$f(x)=f(x_0)+f^{'}(x_0)(x-x_0)+\frac{f^{'...
分类：
其他好文 时间：
2015-11-02 15:12:15
阅读次数：
167
在机器学习的优化问题中，梯度下降法和牛顿法是常用的两种凸函数求极值的方法，他们都是为了求得目标函数的近似解。在逻辑斯蒂回归模型的参数求解中，一般用改良的梯度下降法，也可以用牛顿法。由于两种方法有些相似，我特地拿来简单地对比一下。下面的内容需要读者之前熟悉两种算法。 梯度下降法 梯度下降法用来求解目标...
分类：
其他好文 时间：
2015-10-26 13:35:30
阅读次数：
309
在机器学习的优化问题中，梯度下降法和牛顿法是常用的两种凸函数求极值的方法，他们都是为了求得目标函数的近似解。在逻辑斯蒂回归模型的参数求解中，一般用改良的梯度下降法，也可以用牛顿法。由于两种方法有些相似，我特地拿来简单地对比一下。下面的内容需要读者之前熟悉两种算法。 梯度下降法 梯度下降法用来求解目标...
分类：
其他好文 时间：
2015-10-26 12:01:08
阅读次数：
232
今天来讨论多元函数求极值问题，在Logistic回归用牛顿迭代法求参数会用到，所以很有必要把它研究清楚。回想一下，一元函数求极值问题我们是怎样做的？比如对于凹函数，先求一阶导数，得，由于极值处导数一定为零，但是导数等于零的点不一定就有极值，比如。所以还需要进一步判断，对函数继续求二阶导得到，因为在驻...
分类：
其他好文 时间：
2015-10-19 15:26:22
阅读次数：
196
vijosP1543 极值问题链接：https://vijos.org/p/1543【题解】（网上）从简单情况人手：设定m＝1，将m代人方程②有(n2-n-1)2=1，可求出n=1；m＝2，代人②，有(n2-2n-4)2=1，可求出n=3；m＝3，代人②，有(n2-3n-9)2=1，可求出n=5；m...
分类：
其他好文 时间：
2015-10-12 22:29:33
阅读次数：
225
TSP问题最简单的求解方法是枚举法。它的解是多维的、多局部极值的、趋于无穷大的复杂解的空间，搜索空间是n个点的所有排列的集合，大小为（n-1）！。可以形象地把解空间看成是一个无穷大的丘陵地带，各山峰或山谷的高度即是问题的极值。求解TSP，则是在此不能穷尽的丘陵地带中攀登以达到山顶或谷底的过程。
这一篇将用遗传算法解决TSP问题。
1）评价。这个评价算法应该比较简单了，就是找计算总距离，...
分类：
编程语言 时间：
2015-08-19 20:24:55
阅读次数：
292
P1543极值问题
Accepted
标签：[显示标签]
背景
小铭的数学之旅2。
描述
已知m、n为整数，且满足下列两个条件：
① m、n∈1，2，…，K
② (n^ 2－mn－m^2)^2＝1
编一程序，对给定K，求一组满足上述两个条件的m、n，并且使m^2＋n^2的值最大。例如，若K＝199...
分类：
编程语言 时间：
2015-08-18 22:51:33
阅读次数：
288
