接TensorFlow（3） 我们构建一个多层卷积网络，以提升MNIST的识别性能 权重初始化 为了创建这个模型，我们需要创建大量的权重和偏执项。这个模型中的权重在初始化是应该加入少量的噪声来打破对称性以及避免0梯度。由于我们使用的是ReLU神经元，因此比较好的做法是用一个较小的正数来初始化偏执项。 ...
分类：
其他好文 时间：
2018-07-16 18:31:23
阅读次数：
239
中脑的多巴胺系统（SN、VTA）、纹状体、OFC、杏仁核等部位都会表达诸如奖赏的量、可能性、主观价值、效用、风险等信号。 在SN和VTA里面，大部分的多巴胺神经元都会通过一个短暂的Phasic的反应（一过性的反应）来编码temporal reward prediction error，即表达期待的奖 ...
分类：
其他好文 时间：
2018-07-15 19:28:09
阅读次数：
558
Capsule Network最大的特色在于vector in vector out & 动态路由算法。 vector in vector out 所谓vector in vector out指的是将原先使用 标量表示 的神经元变为使用 向量表示 的神经元。这也即是所谓的“Capsule”，“vec ...
分类：
Web程序 时间：
2018-07-13 22:18:31
阅读次数：
212
4.1深层神经网络 （1）到底是深层还是浅层是一个相对的概念，不必太纠结，以下是一个四层的深度神经网络： （2）一些符号定义： a[0]=x（输入层也叫做第0层） L=4：表示网络的层数 g:表示激活函数 第l层输出用a[l]，最终的输出用a[L]表示 n[1]=5:表示第一层有五个神经元，第l层神 ...
分类：
其他好文 时间：
2018-07-09 23:42:58
阅读次数：
366
9.1代价函数 （1）假设神经网络的训练样本有m个，每一个包含一组输入x和一组输出信号y，L表示神经网络的层数，Sl表示每一层的神经元个数，SL代表最后一层中处理单元的个数。 则代价函数为（同样不对θ0正则化）： 9.2反向传播算法 前向传播算法： 用δ表示误差，则δ（4）=a(4)-y 前一层的误 ...
分类：
其他好文 时间：
2018-07-02 20:22:50
阅读次数：
149
8.1非线性假设 （1）无论线性回归还是逻辑回归当特征量太多时，计算的负荷会非常大。如50x50像素有2500特征，如果两两组合将会有25002/2个（接近300万个特征）。普通的线性回归和逻辑回归模型不能有效处理这么多特征，这时候需要用神经网络了。 8.2神经元和大脑 大脑的某一块可以经过学习，学 ...
分类：
其他好文 时间：
2018-07-02 00:10:42
阅读次数：
135
介绍 BP神经网络属于多层前向神经网络，BP网络是前向网络的核心部分，也是整个人工神经网络体系的精华，广泛应用于分类识别、逼近、回归、压缩等领域。 BP神经网络采用误差反向传播（Error Back Propagtion,BP)的学习算法。一个包含2层隐层的BP神经网络的拓扑结构如下图所示： BP神 ...
分类：
其他好文 时间：
2018-06-30 20:23:16
阅读次数：
344
训练的时候很”脆弱”，很容易就”die”了，训练过程该函数不适应较大梯度输入，因为在参数更新以后，ReLU的神经元不会再有激活的功能，导致梯度永远都是零。 例如，一个非常大的梯度流过一个 ReLU 神经元，更新过参数之后，这个神经元再也不会对任何数据有激活现象了，那么这个神经元的梯度就永远都会是 0 ...
分类：
其他好文 时间：
2018-06-27 20:08:21
阅读次数：
4687
神经网络基础概念 人工神经网络又叫神经网络，是借鉴了生物神经网络的工作原理形成的一种数学模型。神经网络是机器学习诸多算法中的一种，它既可以用来做有监督的任务，如分类、视觉识别等，也可以用作无监督的任务。同时它能够处理复杂的非线性问题，它的基本结构是神经元，如下图所示： 其中，x1、x2、x3代表输入 ...
分类：
其他好文 时间：
2018-06-26 00:54:54
阅读次数：
200
由单个神经元组成的单层感知器只能用来解决线性可分的二分类问题。将其用于二分类时，就相当于在高维样本空间中，用一个超平面将样本分开。 单层感知器由一个线性组合器和一个二值阈值元件组成。输入向量各分量先与权值相乘，然后在线性组合器中进行叠加，得到的结果是一个标量。线性组合器的输出是阈值元件的输出，实际上 ...
分类：
其他好文 时间：
2018-06-24 21:05:27
阅读次数：
256
