引言：尝试用最简单易懂的描述解释清楚机器学习中会用到的拉格朗日对偶性知识，非科班出身，如有数学专业博友，望多提意见！1.原始问题假设是定义在上的连续可微函数（为什么要求连续可微呢，后面再说，这里不用多想），考虑约束最优化问题：称为约束最优化问题的原始问题。现在如果不考虑约束条件，原始问题就是：因为假...
分类：
其他好文 时间：
2015-04-18 10:03:30
阅读次数：
158
一：起因
（0）优化算法（Optimization Algorithm）,即求目标函数的最优值问题；如何评价你的当前解的值是最优的？这就需要构造评价函数；如何从当前的位置（解）更新到新的搜索空间？这就需要变换的形式的定义。
（1）优化算法无处不在 —— 实际生活中的 物资调配，一定的生产资料如何得到最大的产出，一定的投资如何得到最佳的收益等等，都可以转化为最优化问题的求解；就连我们平常生活中的...
分类：
编程语言 时间：
2015-04-17 18:24:28
阅读次数：
131
//---------------------------15/04/17----------------------------
//#30 透彻了解inlineing的里里外外
{
/*
1:inline函数通常可以免除函数调用的成本，而且编译器会对它执行语境相关最优化。
2:使用inline函数很有可能增加你的目标码的大小。因为对每个函数的调...
分类：
编程语言 时间：
2015-04-17 15:43:55
阅读次数：
163
错过了15号国防科大一个教授的报告。15号去了趟南大计算机，然后去了天大精密仪器和理学院；16号先是硕博连读英语，然后是加拿大一个海洋专业的教授的学术报告；下午是史密斯的笔试，晚上先去了优步，然后是化学楼的报告。17号上午是南开的数学系的，中午是青椒学术，下午是会议楼的报告。下周一去听最优化理论，以...
分类：
其他好文 时间：
2015-04-17 07:05:37
阅读次数：
138
SVM有一个核心函数SMO，也就是序列最小最优化算法。SMO基本是最快的二次规划优化算法，其核心就是找到最优参数α，计算超平面后进行分类。SMO方法可以将大优化问题分解为多个小优化问题求解，大大简化求解过程。某些条件下，把原始的约束问题通过拉格朗日函数转化为无约束问题，如果原始问题求解棘手，在满足K...
分类：
其他好文 时间：
2015-04-16 21:46:47
阅读次数：
133
在数学最优化问题中,拉格朗日乘数（以约瑟夫·路易斯·拉格朗日命名） 是一种寻找变量受一个或多个限制的多元方程的极值的方法。这种方法将一个有n变量与k约束的问题转换为一个更易解的n+k个变量的方程组，其变量不受任何约束。这种方法引入了一种新的标量未知数，即拉格朗日乘数：约束方程的斜率（gradient...
分类：
其他好文 时间：
2015-04-16 19:32:25
阅读次数：
236
我们在进行pcb布线时总会面临一块板上有两种、三种地的情况，傻瓜式的做法当然是不管三七二十一，只要是地 就整块敷铜了。这种对于低速板或者对干扰不敏感的板子来讲还是没问题的，否则可能导致板子就没法正常工作了。当然若碰到一块板子上有多种地时，即使板子没什么要求，但从做事严谨认真的角度来讲，咱们也还是有必要采用本文即将讲到的方法去布线，以将整个系统最优化，使其性能发挥到极致！当然关于这些地的一些基础概念...
分类：
其他好文 时间：
2015-04-14 18:04:09
阅读次数：
181
UVa 10739 String to Palindrome（经典回文串区间DP）题意：给定一个字符串，可以对其进行删除，插入，替换操作。问最少经过几次操作，可以使这个字符串变成回文字符串。思路：看得别人的 题解，最优化问题，用较为直接的方法处理时发现情况很复杂，很多时候就要考虑动态规划了。先从整体...
分类：
其他好文 时间：
2015-04-11 13:14:52
阅读次数：
123
一、基本概念 动态规划过程是：每次决策依赖于当前状态，又随即引起状态的转移。一个决策序列就是在变化的状态中产生出来的，所以，这种多阶段最优化决策解决问题的过程就称为动态规划。二、基本思想与策略 基本思想与分治法类似，也是将待求解的问题分解为若干个子问题（阶段），按顺序求解子阶段，前一子问题的解，为后...
分类：
编程语言 时间：
2015-04-10 13:14:54
阅读次数：
137
贪心算法也是用来求解最优化问题的，相比较动态规划很多问题使用贪心算法更为简单和高效，但是并不是所有的最优化问题都可以使用贪心算法来解决。贪心算法就是在每个决策点都做出在当时看来最佳的选择。贪心算法的设计步骤：1、将最优化问题转换为：对其做出一次选择之后，只剩下一个问题需要求解的形式(动态规划会留下多...
分类：
编程语言 时间：
2015-04-10 11:04:49
阅读次数：
147
