3.1ReLUNonlinearity使用relu作为激活函数要比sigmoid和tanh(双曲正切)函数收敛的快3.3局部响应归一化对局部神经元的活动创建竞争机制，使响应大的变得更大，并抑制其他反馈较小的神经元，可以降低top1top5的错误率3.4重叠池化池化的边界相互重叠，可以降低过拟合的情况4减少过拟合的两种方法：DataAugmentation和Dropout4.1DataAug（1）使
分类：
Web程序 时间：
2018-11-09 19:20:36
阅读次数：
167
卷积层和池化层 一、卷积神经网络的权重共享 经典神经网络：全连接，即每个神经元都与每一个数据有对应的参数； 卷积神经网络是权重共享的，就是得到的特征图的每个像素点都是原图的一个区域（如5*5*3，有3个颜色通道）与filter（卷积算子，如5*5*3，有75个权重参数）对位相乘加和的结果，这里特征图 ...
分类：
其他好文 时间：
2018-11-06 01:03:26
阅读次数：
258
结果： 一层神经网络： 二层神经网络： 神经网络计算图： 神经元输出的分布： 数据分布直方图： 数据可视化： ...
分类：
其他好文 时间：
2018-11-05 19:22:59
阅读次数：
211
1. 背景 大规模视觉识别有三大方向：1）对网络结构改造，加深网络，增加每层网络的神经元数量。 2）做迁移学习：例如学习到的1000类分类器用在500类（大用在小）。 3）多个CNN结合：多个1000类分类器来识别10000类（小用在大）。——本文的方向 Deep Mixture ：深度混合，对多个 ...
分类：
其他好文 时间：
2018-11-04 01:40:44
阅读次数：
176
这里的num_units参数并不是指这一层油多少个相互独立的时序lstm，而是lstm单元内部的几个门的参数，这几个门其实内部是一个神经网络，答案来自知乎： ...
分类：
其他好文 时间：
2018-11-04 00:44:27
阅读次数：
498
1.锁相 锁相是使被控振荡器的相位受标准信号或外来信号控制的一种技术，用来实现与外来信号相位同步，或跟踪外来信号的频率或相位。锁相是相位锁定的简称，其含义是表示两个信号的之间的相位同步。锁相是促进信号之间的相位同步，从而促进锁相环的运行。 具有特定频率的节律性刺激能同步大脑内相应频率的神经振荡,使神 ...
分类：
其他好文 时间：
2018-11-03 21:55:19
阅读次数：
462
同进化算法（进化算法是受生物进化机制启发而产生的一系列算法）和人工神经网络算法（神经网络是从信息处理角度对人脑的神经元网络系统进行了模拟的相关算法）一样，群智能优化算法也属于一种生物启发式方法，它们三者可以称为是人工智能领域的三驾马车（实际上除了上述三种算法还有一些智能算法应用也很广泛，比如模拟金属 ...
分类：
编程语言 时间：
2018-10-26 22:26:33
阅读次数：
405
从感知机到神经网络 感知机 感知器在20世纪五、六十年代由科学技术Frank Rosenblatt发明，其受到Warren McCulloch和Walter Pitts早期的工作的影响。今天，使用其他人工神经元模型更为普遍———在这本书中，以及更多现代的神经网络工作中，主要使用的是一种叫做S型神经元... ...
分类：
其他好文 时间：
2018-10-26 22:16:25
阅读次数：
276
神经网络的BP推导过程 下面我们从一个简单的例子入手考虑如何从数学上计算代价函数的梯度，考虑如下简单的神经网络，该神经网络有三层神经元，对应的两个权重矩阵,为了计算梯度我们只需要计算两个偏导数即可： 首先计算第二个权重矩阵的偏导数，即 首先需要在之间建立联系，很容易可以看到的值取决于,而,而又是由取... ...
分类：
其他好文 时间：
2018-10-26 22:10:22
阅读次数：
367
感知机 感知机是一类人造神经元，在许多神经网络中，主要的神经元模型是sigmoid神经元。我们将很快的了解什么是sigmoid神经元，但是想要知道为什么sigmoid要这么定义，就需要我们花点时间去了解感知机。 感知机如何工作？一个感知机通过一些二进制的输入x1,x2,...，然后产生一个二进制的输 ...
分类：
其他好文 时间：
2018-10-13 10:26:26
阅读次数：
728
