环境： pytorch1.1 cuda9.0 ubuntu16.04 该网络有3层，第一层input layer，有784个神经元（MNIST数据集是28*28的单通道图片，故有784个神经元）。第二层为hidden_layer，设置为500个神经元。最后一层是输出层，有10个神经元（10分类任务） ...
分类：
其他好文 时间：
2019-08-14 23:53:25
阅读次数：
189
深度学习只不过是机器学习的标准范例，更准确地说-是其算法之一。在最大程度上，它基于人脑的概念和神经元的相互作用。如果你开始谷歌搜索深度学习是什么，你会发现今天这个超级热门词远远不是新的。为什么这样？该术语本身出现在20世纪80年代，但到2012年，没有足够的力量来实施这项技术，几乎没有人关注它。在着名科学家的一系列文章，科学期刊上的出版物之后，这项技术迅速成为病毒。今天，它有各种各样的应用程序，其
分类：
其他好文 时间：
2019-08-06 10:42:50
阅读次数：
105
一、神经网络结构 定义一个简单的回归神经网络结构： 数据集为(xi,yi)，数据的特征数为1，所以x的维度为1。 输入层1个神经元。 隐藏层数为1，4个神经元。 输出层1个神经元。 隐藏层的激活函数为f(x)=x，输出层的激活函数为ReLU 结构图如下： 二、代码示例 相关函数说明： tf.rand ...
分类：
其他好文 时间：
2019-07-29 15:00:07
阅读次数：
111
1、如何在全连接层拼接特征？ 有一种方法是有两个input，一个input通过网络最终达到全连接层，另一个input直接接一个全连接网络，神经元数是特征数，这两个可以进行一个concat。 当然了也可以直接输入特征concat到全连接层，但是据说前者效果要好一点。 2、word2vec词向量如何在网 ...
分类：
其他好文 时间：
2019-07-24 00:12:20
阅读次数：
100
[TOC] ZFnet的创新点主要是在信号的“恢复”上面，什么样的输入会导致类似的输出，通过这个我们可以了解神经元对输入的敏感程度，比如这个神经元对图片的某一个位置很敏感，就像人的鼻子对气味敏感，于是我们也可以借此来探究这个网络各层次的功能，也能帮助我们改进网络。 论文结构 1. input: $3 ...
分类：
Web程序 时间：
2019-07-23 13:20:28
阅读次数：
132
softmax求导 softmax层的输出为 其中，表示第L层第j个神经元的输入，表示第L层第j个神经元的输出，e表示自然常数。 现在求对的导数， 如果j=i， 1 如果ji， 2 cross-entropy求导 loss function为 对softmax层的输入求导，如下 label smoo ...
分类：
其他好文 时间：
2019-07-08 13:56:22
阅读次数：
110
1 神经网络模型 以下面神经网络模型为例，说明神经网络中正向传播和反向传播过程及代码实现 1.1 正向传播 (1)输入层神经元$i_1,i_2$,输入层到隐藏层处理过程 $$HiddenNeth_1 = w_1i_1+w_2i_2 + b_1$$ $$HiddenNeth_2 = w_3i_1+w_ ...
分类：
编程语言 时间：
2019-07-03 20:06:35
阅读次数：
100
Lenet 神经网络结构为： ①输入为 32*32*1 的图片大小，为单通道的输入； ②进行卷积，卷积核大小为 5*5*1，个数为 6，步长为 1，非全零填充模式； ③将卷积结果通过非线性激活函数； ④进行池化，池化大小为 2*2，步长为 1，全零填充模式； ⑤进行卷积，卷积核大小为 5*5*6，个 ...
分类：
Web程序 时间：
2019-06-25 13:37:58
阅读次数：
223
在自动驾驶、医疗以及零售这些领域，计算机视觉让我们完成了一些直到最近都被认为是不可能的事情。卷积神经网络可能是这一巨大成功背后的关键组成模块。这次，我们将要使用卷积神经网络的思想来拓宽我们对神经网络工作原理的理解。简介过去我们接触到了密集连接的神经网络。那些神经网络中，所有的神经元被分成了若干组，形成了连续的层。每个这样的单元都与相邻层的每一个单独的神经元相连接。下图所示的是这样一个架构。图1：密
分类：
其他好文 时间：
2019-06-19 10:52:49
阅读次数：
483
什么是注意力机制？ 注意力机制模仿了生物观察行为的内部过程，即一种将内部经验和外部感觉对齐从而增加部分区域的观察精细度的机制。例如人的视觉在处理一张图片时，会通过快速扫描全局图像，获得需要重点关注的目标区域，也就是注意力焦点。然后对这一区域投入更多的注意力资源，以获得更多所需要关注的目标的细节信息， ...
分类：
其他好文 时间：
2019-06-17 10:49:27
阅读次数：
143
