概述 贝叶斯神经网络是一类神经网络模型，模型的参数不是固定的值，而是分布，如$(图1)$所示。这样设置，我们就能够对数据和模型的不确定性（uncertainty）进行评估。例如有一个函数$f(x)=y$，当函数$f$确定时，输入$x$能得到唯一确定的y，如果我们调整$f$，得到的$y$就会发生变化。 ...
分类：
其他好文 时间：
2020-06-23 01:08:16
阅读次数：
85
引言GAN专题介绍了GAN的原理以及一些变种，这次打算介绍另一个重要的生成模型——变分自编码器（Variational AutoEncoder，VAE）。但在介绍编码器之前，这里会先花一点时间介绍变分推断（Variational Inference，VI），而这一小系列最后还会介绍贝叶斯神经网络—— ...
分类：
其他好文 时间：
2020-06-23 00:52:11
阅读次数：
82
（1）为什么残差学习的效果会如此的好？与其他论文相比，深度残差学习具有更深的网络结构,此外，残差学习也是网络变深的原因？为什么网络深度如此的重要？ 解：一般认为神经网络的每一层分别对应于提取不同层次的特征信息，有低层，中层和高层，而网络越深的时候，提取到的不同层次的信息会越多，而不同层次间的层次信息 ...
分类：
其他好文 时间：
2020-06-22 21:16:29
阅读次数：
54
在这里给大家分享一下我在训练神经网络时候遇到的困难，以及走的一些弯路之后自己总结得经验。 1.学会正确地debug，神经网络最困难的我觉得不是建立模型，而是数据转换，所以需要你对numpy包非常熟悉。2.将训练量调小一些，刚开始不知道性能，不知道程序是不是往正确的方向发展，那么我们可以将迭代次数取小 ...
分类：
其他好文 时间：
2020-06-22 10:47:04
阅读次数：
52
1.百面机器学习中的讲解 Dropout是指在深度网络的训练中， 以一定的概率随机地 “临时丢弃”一部分神经元节点。 相当于每次迭代都在训练不同结构的神经网络。 类比于Bagging方法， Dropout可被认为是一种实用的大规模深度神经网络的模型集成算法。 因此， 对于包含N个神经元节点的网络， ...
分类：
其他好文 时间：
2020-06-21 22:54:25
阅读次数：
60
题目 初始时Ci可以事先减去Ui，注意入度为0（即起始点）不要减。然后由于这张图是一个有向无环图，所以我们可以使用拓扑排序。排序完了过后就按照排好的顺序套给出的公式递推就行啦。 代码： #include <iostream> #include <queue> using namespace std; ...
分类：
编程语言 时间：
2020-06-21 20:28:16
阅读次数：
480
梯度消失问题和梯度爆炸问题，总的来说可以称为梯度不稳定问题。 【要背住的知识】：用ReLU代替Sigmoid，用BN层，用残差结构解决梯度消失问题。梯度爆炸问题的话，可以用正则化来限制。sigmoid的导数是【0，0.25】. 出现原因 两者出现原因都是因为链式法则。当模型的层数过多的时候，计算梯度 ...
分类：
其他好文 时间：
2020-06-21 19:49:49
阅读次数：
93
作者|Jacob Gursky 编译|VK 来源|Towards Data Science 介绍 如果我告诉你训练神经网络不需要计算梯度，只需要前项传播你会怎么样？这就是神经进化的魔力！同时，我要展示的是，所有这一切只用Numpy都可以很容易地做到！学习统计学你会学到很多关于基于梯度的方法，但是不久 ...
分类：
其他好文 时间：
2020-06-21 16:19:59
阅读次数：
61
基于OpenSeq2Seq的NLP与语音识别混合精度训练 Mixed Precision Training for NLP and Speech Recognition with OpenSeq2Seq 迄今为止，神经网络的成功建立在更大的数据集、更好的理论模型和缩短的训练时间上。特别是顺序模型，可 ...
分类：
其他好文 时间：
2020-06-21 12:13:34
阅读次数：
67
