一、深层神经网络 神经网络符号： 输入数据层：layer0，不包括在层数中 n[l]：第l层包含的神经元数目 二、前向和反向传播 z[l] = w[l] * a[l-1] + b[l] a[l] = g[l](z[l]) 向量化： Z[l] = W[l] * A[l-1] + b[l] A[l] = ...
分类：
其他好文 时间：
2017-09-17 11:43:57
阅读次数：
193
一、Sigmoid函数 1）表达式 2）函数曲线 3）函数缺点 梯度饱和问题。先看一下反向传播计算过程： 梯度饱和问题。先看一下反向传播计算过程： 梯度饱和问题。先看一下反向传播计算过程： 反向求导： 而其中： 所以，由上述反向传播公式可以看出，当神经元数值无线接近1或者0的时候，在反向传播计算过程 ...
分类：
其他好文 时间：
2017-09-14 16:56:50
阅读次数：
255
一、Tensorflow实现卷积神经网络 卷积神经网络的概念最早出自19世纪60年代科学技术提出的感受野。当时科学家通过对猫的视觉皮层细胞研究发现，每一个视觉神经元只会处理一小块区域的视觉图像，即感受野。 一个卷积层中可以有多个不同的卷积核，而每一个卷积核都对应一个滤波后映射出的新图像，同一个新图像 ...
分类：
其他好文 时间：
2017-09-12 11:10:00
阅读次数：
1342
第一周 深度学习的实用层面 1.1 训练、验证、测试集 应用机器学习是个高度迭代的过程：想法 >编码 >实验 （1）神经网络的层数 （2）隐含层神经元个数 （3）学习率 （4）激励函数 小规模数据：训练集70%，验证集30% 或者 训练60% 验证20% 测试20% 大规模数据：训练90%以上 注： ...
分类：
其他好文 时间：
2017-09-09 21:00:32
阅读次数：
200
深度神经网络，在模式识别问题上，取得非常不错的效果。但设计一个性能好的神经网络，需要反复尝试，是个非常耗时的过程。这个工作[1]实现了用于深度神经网络设计的可视分析系统，DeepEyes。该系统可以在DNNs训练过程中，提取数据，从网络整体效果，神经层和神经元角度，分析神经网络运行状态，进而协助用户 ...
分类：
Web程序 时间：
2017-09-09 13:46:18
阅读次数：
258
修正现行单元单神经元网络在监督学习当中，你输入一个x，习得一个函数，映射到输出y 例如房屋价格预测例子当中，输入房屋的一些特征，就能输出或者是预测价格y，在现今，深度学习神经网络效果拔群，最主要的就是在线广告， 给网站输入广告信息，网站会考虑是否给你看这个广告，有时候还需要用户输入一些信息，神经网络... ...
分类：
其他好文 时间：
2017-09-08 22:52:15
阅读次数：
156
感知器通常用下面的图形表示： x1，x2和x3是输入单元。每个输入单元分别代表一个特征。感知器通常用另外一个输入单元代表一个常用误差项，但是这个输入单元在图形中通常被忽略了。中间的圆圈是一个计算单元，类似神经元的细胞核连接输入单元和计算单元的边类似于树突。每条边是一个权重，或者是一个参数。参数容易解 ...
分类：
其他好文 时间：
2017-09-07 13:36:47
阅读次数：
179
问题描述 先来看看问题描述。 当我们使用sigmoid funciton 作为激活函数时，随着神经网络hidden layer层数的增加，训练误差反而加大了，如上图所示。 下面以2层隐藏层神经网络为例，进行说明。 结点中的柱状图表示每个神经元参数的更新速率(梯度)大小，有图中可以看出，layer2整 ...
分类：
其他好文 时间：
2017-09-05 11:42:11
阅读次数：
205
1. 卷积神经网络 1.1 多层前馈神经网络 多层前馈神经网络是指在多层的神经网络中，每层神经元与下一层神经元完全互连，神经元之间不存在同层连接，也不存在跨层连接的情况，如图 11所示。 图 11 对于上图中隐藏层的第j个神经元的输出可以表示为： 其中，f是激活函数，bj为每个神经元的偏置。 1.2 ...
分类：
其他好文 时间：
2017-08-31 22:24:35
阅读次数：
1005
从神经网络说起：深度学习初学者不可不知的25个术语和概念（上） http://www.36dsj.com/archives/85406 1，神经元；2，权重；3，偏置:用来改变输入的范围。4，激活函数f(x)：将输入信号翻译成输出信号。最常用的激活函数有Sigmoid、ReLU 和softmax。5 ...
分类：
其他好文 时间：
2017-08-30 20:46:38
阅读次数：
254
