[TOC] 线性代数 一、基本知识 1. 本文中所有的向量都是列向量的形式： $$\mathbf{\vec x}=(x_1,x_2,\cdots,x_n)^T=\begin{bmatrix}x_1\\x_2\\ \vdots \\x_n\end{bmatrix}$$ 本书中所有的矩 $\mathbf ...
分类：
其他好文 时间：
2018-11-04 23:03:04
阅读次数：
298
WQS二分，一种优化一类特殊DP的方法。 很多最优化问题都是形如“一堆物品，取与不取之间有限制。现在规定只取k个，最大／小化总收益”。 这类问题最自然的想法是：设f[i][j]表示前i个取j个的最大收益，转移即可。复杂度O(n^2)。 那么，如果在某些情况下，可以通过将问题稍作转化，变成一个不强制选 ...
分类：
其他好文 时间：
2018-10-23 01:11:39
阅读次数：
179
通用的损失函数最优化的数值方法，来源于泰勒展开式，多元函数的泰勒展开式为： 一、一阶逼近与一阶方法 一阶泰勒展开式： 其中，是代表了β变化的可能性，t在之后说到的梯度下降方法中演变成了学习速率。 现在，我们需要第二项最小，向量内积，最小为-|梯度||a|，这就是β的改变量。梯度的方向是函数在给定点上 ...
分类：
编程语言 时间：
2018-10-15 12:15:11
阅读次数：
186
维基百科对B树的定义为“在计算机科学中，B树（B-tree）是一种树状数据结构，它能够存储数据、对其进行排序并允许以O(log n)的时间复杂度运行进行查找、顺序读取、插入和删除的数据结构。B树，概括来说是一个节点可以拥有多于2个子节点的二叉查找树。与自平衡二叉查找树不同，B-树为系统最优化大块数据 ...
分类：
其他好文 时间：
2018-10-14 14:02:58
阅读次数：
164
线性规划 ( Linear Programming ) : 目标函数和约束条件均为线性的最优化问题。 描述线性规划问题的常用和最直观形式是标准型。标准型包括以下三个部分： 1. 需要极大化的线性函数，如 2. 问题约束，例如： 3. 非负变量，例如： ...
分类：
其他好文 时间：
2018-10-11 01:43:50
阅读次数：
152
3. 支持向量机 3.1 本质 基本模型是定义在特征空间上的间隔最大的线性分类器。核技巧使之成为实质上的非线性分类器。 学习策略是间隔最大化，可形式化为求解凸二次优化问题。等价于正则化的合页损失函数的最小化问题。 学习算法是求解凸二次规划的最优化算法。 理解支持向量机可以从简至繁推进：线性可分支持向 ...
分类：
其他好文 时间：
2018-10-10 01:00:30
阅读次数：
215
引入 1. 随机梯度下降的特点 随机梯度下降法 (Stochastic Gradient Descent)作为深度学习中主流使用的最优化方法, 有以下的优点: 躲避和逃离假的 鞍点 和 局部极小点 的能力 这篇论文认为, 这些 局部极小 也包含着一些有用的信息, 能够帮助提升模型的能力. 2. 局部 ...
分类：
其他好文 时间：
2018-10-07 12:08:29
阅读次数：
841
转自：http://www.cnblogs.com/maybe2030/ 我们每个人都会在我们的生活或者工作中遇到各种各样的最优化问题，比如每个企业和个人都要考虑的一个问题“在一定成本下，如何使利润最大化”等。最优化方法是一种数学方法，它是研究在给定约束之下如何寻求某些因素(的量)，以使某一(或某些 ...
分类：
编程语言 时间：
2018-10-05 18:42:03
阅读次数：
194
转自：http://www.cnblogs.com/chinazhangjie/archive/2010/12/06/1898070.html 一、图灵机 根据有限状态控制器的当前状态及每个读写头读到的带符号，图灵机的一个计算步可实现下面3个操作之一或全部。 （1）改变有限状态控制器中的状态。 （2 ...
分类：
编程语言 时间：
2018-10-02 17:39:15
阅读次数：
141
题目大意：给出一棵树，树的生成图G上任意两点相连且两点的距离为树上两点的带权距离，求图上最短的哈密顿回路。 坑点：如果一直想从哈密顿回路入手，那你就要GG了，像我一样想出一个错解DP。 然而，只需画几个图，你就会大致猜出一个方法：以树的重心为根，把书分为若干部分且每个部分大小不超过n/2，那么必定有 ...
分类：
其他好文 时间：
2018-09-29 21:31:01
阅读次数：
195
