什么是激活函数？ 激活函数（Activation functions）对于人工神经网络 [1] 模型去学习、理解非常复杂和非线性的函数来说具有十分重要的作用。它们将非线性特性引入到我们的网络中。如图1，在神经元中，输入的 inputs 通过加权，求和后，还被作用了一个函数，这个函数就是激活函数。引入 ...
分类：
其他好文 时间：
2020-02-17 12:49:27
阅读次数：
97
一、隐藏层 多层感知机在单层神经?络的基础上引?了?到多个隐藏层（hidden layer）。隐藏层位于输?层和输出层之间。下图展示了?个多层感知机的神经?络图，它含有?个隐藏层，该层中有5个隐藏单元。 上图所示的多层感知机中，输?和输出个数分别为4和3，中间的隐藏层中包含了5个隐藏单元（hidde ...
分类：
其他好文 时间：
2020-02-15 21:56:36
阅读次数：
93
卷积神经网络（Convolutional Neural Network，CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。 它包括卷积层(convolutional layer)和池化层(pooling layer)。 对比：卷积神经网络、全连 ...
分类：
其他好文 时间：
2020-02-15 11:26:56
阅读次数：
88
神经网络(Neural Network)是一种模仿生物神经网络构造的数学模型。很多文章喜欢从生物的神经元结构方面入手，展开对人工神经网络的介绍。但那样会引入更多意味不明的单词，比如突触，树突，轴突……所以这里并不会深入的介绍生物的神经网络是怎么工作的，只会说明为什么人工神经网络要构造成这样。本文按照 ...
分类：
其他好文 时间：
2020-02-14 13:01:03
阅读次数：
76
梯度与反向传播 1.对于一个二元函数f(x, y)，有?$\nabla f = [\frac{\partial f}{\partial x} , \frac{\partial f}{\partial y}]$ 因此可知，梯度是一个向量而不是一个标量 2.利用链式法则解释何为反向传播： f(x,y,z ...
分类：
其他好文 时间：
2020-02-12 16:42:11
阅读次数：
99
前言：人工智能机器学习有关算法内容，请参见公众号“科技优化生活”之前相关文章。人工智能之机器学习主要有三大类:1)分类;2)回归;3)聚类。今天我们重点探讨一下卷积神经网络(CNN)算法。 ^_^ 20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的 ...
分类：
其他好文 时间：
2020-02-11 16:22:43
阅读次数：
210
Multilayer perceptron 1. mlp 多层感知机在单层神经网络的基础上引入了一到多个隐藏层。多层感知机的隐藏层中的神经元和输入层中各个输入完全连接，输出层中的神经元和隐藏层中的各个神经元也完全连接。 1.1 隐藏层 若对每个全连接层做仿射变换，无论添加多少隐藏层都仍然等价于仅含输 ...
分类：
其他好文 时间：
2020-02-06 12:38:38
阅读次数：
73
1. Dropout：是指在深度学习网络的训练过程中，对于神经网络单元，按照一定的概率将其暂时从网络中丢弃（使其暂时不工作），使一部分神经元工作，使另一部分神经元不工作；没有被删除的部分的参数得到更新，被删除的神经元参数保持之前的状态，此次训练过程中暂时不参加神经网络的计算，不更新权值，以达到避免过 ...
分类：
其他好文 时间：
2020-02-05 23:03:07
阅读次数：
170
卷积神经网络 整体结构 全连接层:相邻层的所有神经元之间都有连接 CNN的结构 Convolution层 ReLU层 Pooling层 靠近输出的层中使用了"Affine ReLU"组合 最后的输出层中使用了"Affine Softmax"组合 卷积层 全连接层存在的问题 数据的形状被忽视:图像向全 ...
分类：
其他好文 时间：
2020-02-05 18:03:02
阅读次数：
108
虽然之前已经大概介绍了关于神经网络的基本结构，但是对于神经网络来说，还有很多可以提升的地方，包括不限于：参数的初始化，正则化，检测方式，除了梯度下降以外的优化算法，超参的调试，批量标准化，和TensorFlow等等。下面我们依次来介绍。 参数的初始化 由于 梯度消失/爆炸 的原因，参数的初始化关系着 ...
分类：
其他好文 时间：
2020-02-04 22:07:11
阅读次数：
95
