来源：https://blog.csdn.net/sinat_32043495/article/details/78841553 全连接层 / FC layer 两层之间所有神经元都有权重连接 通常全连接层在卷积神经网络尾部 激励层(ReLU)把卷积层输出结果做非线性映射 Sigmoid Tanh( ...
分类：
其他好文 时间：
2019-11-10 19:08:28
阅读次数：
103
一般在神经网络中， softmax可以作为分类任务的输出层。 输出n个类别选取的概率，并且概率和为1。 i?代表的是第i个神经元的输出，zi是下面 loss function表示的是真实值与网络的估计值的误差。交叉熵的函数是这样的 yi?表示真实的分类结果。 求导。首先，我们要明确一下我们要求什么， ...
分类：
其他好文 时间：
2019-11-10 17:22:54
阅读次数：
106
一、序言 前面已经逐步从单神经元慢慢“爬”到了神经网络并把常见的优化都逐个解析了，再往前走就是一些实际应用问题，所以在开始实际应用之前还得把“框架”翻出来，因为后面要做的工作需要我们将精力集中在业务而不是网络本身，所以使用框架可以减少非常多的工作量，有了前面自己实现神经网络的经验，现在理解框架的一些 ...
分类：
其他好文 时间：
2019-11-04 21:22:42
阅读次数：
78
问题描述 先来看看问题描述。 当我们使用sigmoid funciton 作为激活函数时，随着神经网络hidden layer层数的增加，训练误差反而加大了，如上图所示。 下面以2层隐藏层神经网络为例，进行说明。 结点中的柱状图表示每个神经元参数的更新速率(梯度)大小，有图中可以看出，layer2整 ...
分类：
其他好文 时间：
2019-11-04 14:05:19
阅读次数：
68
人工神经网络 人工神经网络,是模拟生物神经网络进行信息处理的一种数学模型,它对大脑的生理研究成果为基础,其目的在于模拟大脑的某些机理与机制,实现一些特定的功能 1943年, 美国心里学家和数学家联合提出了形式神经元的数学模型MP模型,证明了单个神经元能执行逻辑功能,开创了人工神经网络研究的时代.19 ...
分类：
其他好文 时间：
2019-11-03 13:09:18
阅读次数：
159
1.把w初始化为0 在神经网络中，把w初始化为0是不可以的。这是因为如果把w初始化0，那么每一层的神经元学到的东西都是一样的（输出是一样的），而且在bp的时候，每一层内的神经元也是相同的，因为他们的gradient相同。 2.对w随机初始化 初始化容易出现梯度消失或者梯度爆炸的问题。 3.Xavie ...
分类：
其他好文 时间：
2019-10-30 11:43:56
阅读次数：
166
AlexNet网络是由5个卷积层和3个全连接层构成 下面这个是一个平面图，可能会更好看一些： 1 2 3 4 5 6 7 8 9 10 11 一、 字母解析： 1、s：(stride)步伐的意思，表示每次跨几个像素点 （例：s = 1则表示第一次最左上角取(1,1)这个点，往后走两步，下一次的左上角 ...
分类：
Web程序 时间：
2019-10-29 18:12:49
阅读次数：
180
一、前言 回顾一下前面讲过的两种解决过拟合的方法： 1）L0、L1、L2：在向前传播、反向传播后面加个小尾巴 2）dropout：训练时随机“删除”一部分神经元 本篇要介绍的优化方法叫mini-batch，它主要解决的问题是：实际应用时的训练数据往往都太大了，一次加载到电脑里可能内存不够，其次运行速 ...
分类：
其他好文 时间：
2019-10-28 01:09:04
阅读次数：
121
神经网络 感知机 解决分类问题 "http://playground.tensorflow.org" 神经网络 定义: ? 在机器学习领域和认知科学领域,人工神经网络(artificial neural network) 简称ann或类神经网络,一种放生物 神经网络的结构和功能的计算模型,用于对函数 ...
分类：
其他好文 时间：
2019-10-27 16:54:45
阅读次数：
89
讲授玻尔兹曼分布、玻尔兹曼机的网络结构、实际应用、训练算法、深度玻尔兹曼机等。受限玻尔兹曼机（RBM）是一种概率型的神经网络。和其他神经网络的区别：神经网络的输出是确定的，而RBM的神经元的输出值是不确定的，以某种概率取到某一个值、以另一种概率取到另一个值，神经元的输出值。各个神经元的输入值服从某种 ...
分类：
其他好文 时间：
2019-10-24 15:14:34
阅读次数：
107
