一、网络 二、激活函数 激活函数：对隐藏变量使用按元素运算的非线性函数进行变换，作为下一个全连接层的输入。这个非线性函数被称为激活函数。 三、正则化 正则化：正则化通过为模型损失函数添加惩罚项使学出的模型参数值较小，是应对过拟合的常用手段。 四、损失函数 五、网络模型优化算法 ...
分类：
编程语言 时间：
2020-07-29 21:59:19
阅读次数：
100
遗传算法（Genetic Algorithm, GA）是一种通用的优化算法，属于进化算法簇中一个比较实用又有名的算法。进化算法融合了自然生物进化中共有的一些行为：繁殖、变异、竞争、选择等。 基本流程 GA通过迭代来优化目标函数的参数，直到目标函数满足一定条件时结束。迭代对目标函数的连续性并无要求，也 ...
分类：
编程语言 时间：
2020-07-29 10:03:40
阅读次数：
104
本题考查库函数的实现原理，特别注意用O(logn)时间求a的n次方的优化算法。 C++版 #include <iostream> #include <cmath> using namespace std; bool g_InvalidInput = false; double powerWithUn ...
分类：
其他好文 时间：
2020-07-18 22:28:09
阅读次数：
76
一：问题描述 Learning问题就是参数估计问题，也就是求模型参数λ，具体形式为 ：λ_hat=argmax P(O|λ) 【通过最大化似然求得最优模型参数 λ；优化算法用EM，可类比GMM模型中求θ用的EM】 二、EM算法应用于HMM-learning模型的公式推导（具体可参考之前博客GMM：E ...
分类：
编程语言 时间：
2020-07-11 11:16:14
阅读次数：
99
给定一个整数 n, 返回从 1 到 n 的字典顺序。 例如， 给定 n =1 3，返回 [1,10,11,12,13,2,3,4,5,6,7,8,9] 。 请尽可能的优化算法的时间复杂度和空间复杂度。 输入的数据 n 小于等于 5,000,000。 vector<int>ans; class Sol ...
分类：
其他好文 时间：
2020-07-02 16:15:55
阅读次数：
58
不同智能优化算法如何进行性能分析比较？ 智能优化算法一类随机优化算法，算法每次执行结果略有差异， 该类算法通常通过模仿现实生活中的某种行为机制的方式而被提出，不同种类的算法优化机理不同，即使同一算法及其改进算法在搜索机理上也往往存在很大差别。对于搜索性能稳定的算法这种差异相对较小，而对于搜索性能波动 ...
分类：
编程语言 时间：
2020-06-29 22:54:13
阅读次数：
167
optim.py Project URL:https://github.com/Codsir/optim.git Based on: tensorflow, numpy, copy, inspect Why Tensorflow? Tensorflow supports symbol computa ...
分类：
编程语言 时间：
2020-06-26 22:23:50
阅读次数：
54
SVI变分推断的前两篇介绍了变分推断的构造方法、目标函数以及优化算法CAVI，同时上一篇末尾提到，CAVI并不适用于大规模的数据的情况，而这一篇将要介绍一种随机优化（stochastic optimization）的方法。这种优化方法与随机梯度下降（Stochastic Gradient Desce ...
分类：
其他好文 时间：
2020-06-23 01:00:54
阅读次数：
76
主要思想 根据现有数据对分类边界线建立回归公式，以此进行分类，其核心是通过最优化算法寻找最佳回归系数（权重系数），主要应用于二分类。 算法原理 二分类的特点是非此即彼，其数学特性符合单位阶跃函数，在某一点会发生突变。这也符合我们现实当中的一些应用场景（比如分数从0 到 60会很容易，越往上你所花的时 ...
分类：
编程语言 时间：
2020-06-17 19:55:29
阅读次数：
55
作者|Renu Khandelwal 编译|VK 来源|Medium 什么是梯度下降? 梯度下降法是一种减少成本函数的迭代机器学习优化算法，使我们的模型能够做出准确的预测。 成本函数(C)或损失函数度量模型的实际输出和预测输出之间的差异。成本函数是一个凸函数。 为什么我们需要梯度下降? 在神经网络中 ...
分类：
其他好文 时间：
2020-06-17 19:53:07
阅读次数：
51
