1.动态规划的概念及理解 动态规划（Dynamic Programming，DP）是运筹学的一个分支，是求解决策过程最优化的过程。我的个人理解如下：将一个复杂的大问题拆分成若干个小问题并求出这些小问题的解，记录下来。最后借由这些小问题的解推导出原始大问题的答案。 2.示例 2.1 上台阶 共十级台阶 ...
分类：
其他好文 时间：
2020-11-16 12:57:23
阅读次数：
8
1.算法初步 贪心算法 求解最优化问题的方法，由局部最优的策略使全局结果达到最优 适用于满足最优子结构的问题，即一个问题的最优解可以由的子问题的最优解有效地构造出来 two pointers 利用问题本身与序列地特性，使用两个下标i、j对序列进行扫描，以较低地复杂度解决问题 打表 在程序中一次性计算 ...
分类：
编程语言 时间：
2020-10-18 16:44:54
阅读次数：
27
梯度下降算法是求解最优化问题 梯度下降是优化一个损失函数L(y,f(x))，处理的粒度是更新参数w，使得最后的损失函数最小 ...
分类：
其他好文 时间：
2020-09-17 22:31:00
阅读次数：
19
特点：具有超线性收敛速度，只需要计算梯度，避免计算二阶导数 算法步骤 \(step0:\) 给定初始值$x_0$,容许误差$\epsilon$ \(step1:\) 计算梯度$g_k=\nabla f(x_k)$,if \(norm(g_k)<=\epsilon\)， \(break;\) 输出当前 ...
分类：
编程语言 时间：
2020-08-09 20:21:06
阅读次数：
98
维特比算法 一种动态规划算法（动态规划 Dynamic Programming，是运筹学的一个分支，是求解决策过程最优化的过程。） 用于寻找最有可能产生观测事件序列的-维特比路径-隐含状态序列 特别是在马尔可夫信息源上下文和隐马尔可夫模型中 ...
分类：
编程语言 时间：
2020-07-05 19:21:28
阅读次数：
67
叶荫宇：斯坦福大学李国鼎工程讲席教授，管理科学与工程系工业联盟计划主任，从事最优化、运筹学、供应链方法、传感器网络、市场平衡与价格、数据与计算等方向的研究。他是运筹管理学领域最高奖项——冯·诺依曼理论奖的唯一一位华人得主，国际最知名的运筹学专家之一。 叶荫宇教授先是介绍了自己最近做的一些研究工作，提 ...
分类：
其他好文 时间：
2020-07-03 00:32:06
阅读次数：
69
主要思想 根据现有数据对分类边界线建立回归公式，以此进行分类，其核心是通过最优化算法寻找最佳回归系数（权重系数），主要应用于二分类。 算法原理 二分类的特点是非此即彼，其数学特性符合单位阶跃函数，在某一点会发生突变。这也符合我们现实当中的一些应用场景（比如分数从0 到 60会很容易，越往上你所花的时 ...
分类：
编程语言 时间：
2020-06-17 19:55:29
阅读次数：
55
非显著式编程的做法 收益函数 1998 Tom MitShell 第一本成熟的教科书：MACHINE LEARNING 典型的最优化问题 为数据打标签（独特行业） 监督学习 强化学习（与环境互动） 非监督学习 需要假设：同一类的训练数据在空间中距离更近->样本的空间信息->设计算法将其分成两类 非监 ...
分类：
其他好文 时间：
2020-06-17 10:44:59
阅读次数：
69
1.梯度下降法 是一种基于搜索的最优化方法，作用是最小化一个损失函数。 但不是所有的函数都有唯一的极值点。 解决方案：多次运行，随机初始化点 梯度下降法的初始点也是一个超参数 线性回归法的损失函数具有唯一的最优解。 模拟实现梯度下降法 1 import numpy as np 2 import ma ...
分类：
其他好文 时间：
2020-06-05 21:05:44
阅读次数：
70
对于约束优化问题： 拉格朗日公式： 其KKT条件为： 求解 x、α、β 其中β*g(x)为互补松弛条件 KKT条件是使一组解成为最优解的必要条件，当原问题是凸问题的时候，KKT条件也是充分条件。 ...
分类：
其他好文 时间：
2020-06-03 20:13:43
阅读次数：
64
