1、无约束最优化问题 求解此问题的方法方法分为两大类：最优条件法和迭代法。 2、最优条件法 我们常常就是通过这个必要条件去求取可能的极小值点，再验证这些点是否真的是极小值点。当上式方程可以求解的时候，无约束最优化问题基本就解决了。实际中，这个方程往往难以求解。这就引出了第二大类方法：迭代法。 最优条 ...
分类：
编程语言 时间：
2018-12-12 23:41:34
阅读次数：
349
在机器学习、深度学习中使用的优化算法除了常见的梯度下降，还有 Adadelta，Adagrad，RMSProp 等几种优化器，都是什么呢，又该怎么选择呢？ 在 Sebastian Ruder 的这篇论文中给出了常用优化器的比较，今天来学习一下：https://arxiv.org/pdf/1609.0 ...
分类：
其他好文 时间：
2018-12-08 15:38:43
阅读次数：
159
非线性最小二乘 定义：简单的非线性最小二乘问题可以定义为 $$ \min_{x} \frac{1}{2}||f(x)||^2_2 $$ 其中自变量$x \in R^n$,$f(x)$是任意的非线性函数，并设它的维度为$m$,即$f(x) \in R^m$. 对于一些最小二乘问题，我们可以利用目标函数 ...
分类：
编程语言 时间：
2018-12-08 15:37:51
阅读次数：
251
算法介绍：梯度下降算法是一种利用一次导数信息求取目标函数极值的方法，也是目前应用最为广泛的局部优化算法之一。其具有实现简单、容易迁移、收敛速度较快的特征。在求解过程中，从预设的种子点开始，根据梯度信息逐步迭代更新，使得种子点逐渐向目标函数的极小值点移动，最终到达目标函数的极小值点。注意，沿梯度正向移 ...
分类：
编程语言 时间：
2018-12-07 01:33:36
阅读次数：
329
拉格朗日乘数法 等式约束 + 作为一种优化算法，拉格朗日乘子法主要用于解决约束优化问题，它的基本思想就是通过引入拉格朗日乘子来将含有n个变量和k个约束条件的约束优化问题转化为含有（n+k）个变量的无约束优化问题。拉格朗日乘子背后的数学意义是其为约束方程梯度线性组合中每个向量的系数 + 以上是从别人的 ...
分类：
其他好文 时间：
2018-11-25 20:16:29
阅读次数：
261
个人感悟：首先我觉的要想学好一门语言不论是是什么语言：java，C，python，PHP，都要弄明白网络请求与响应，过程，osi模型等，我觉的这个最基础的，但是今天我需要解决的是网络交互时发生的"黏包"问题，行了不啰嗦了让我们进入正题吧。黏包现象让我们基于tcp先制作一个远程执行命令的程序（命令ls-l;lllllll;pwd）这块我们需要注意下res=subprocess.P
分类：
其他好文 时间：
2018-11-21 17:44:13
阅读次数：
166
优化算法时间复杂度 算法的时间复杂度对程序的执行效率影响最大，在Python中可以通过选择合适的数据结构来优化时间复杂度，如list和set查找某一个元素的时间复杂度分别是O(n)和O(1)。不同的场景有不同的优化方式，总得来说，一般有分治，分支界限，贪心，动态规划等思想。 减少冗余数据 如用上三角 ...
分类：
编程语言 时间：
2018-11-18 18:18:47
阅读次数：
209
基础图论 链式前向星 带权值 不带权值 最短路算法 SPFA 堆优化迪杰斯特拉 高级图论 线段树优化连边 （非递归线段树） ...
分类：
其他好文 时间：
2018-11-08 13:44:05
阅读次数：
121
德鲁伊！大自然已经听命于我了！ 死亡之翼长子奈法利安 ZKW天下第一！ 摘自某群聊天记录 ZKW线段树，即非递归形式的线段树，出自终极大犇ZKW的论文《统计的力量》。与普通的线段树相比，ZKW线段树由于是非递归形式，效率极高，代码也极短，成为了OI比赛中极为实用的优化算法之一。虽然ZKW线段树无法处 ...
分类：
其他好文 时间：
2018-11-07 20:43:13
阅读次数：
204
Training a Neural Network Randomly initialize the weights Implement forward propagation to get hΘ?(x(i)) for any x(i) Implement the cost function Impl ...
分类：
其他好文 时间：
2018-10-29 22:59:35
阅读次数：
232
