全零初始化 全零初始化即所有的变量均被初始化为0，这应该是最笨、最省事的随机化方法了。然而这种偷懒的初始化方法非常不适合深度学习，因为这种初始化方法没有打破神经元之间的对称性，将导致收敛速度很慢甚至训练失败。 常量初始化(constant) 把权值或者偏置初始化为一个常数，具体是什么常数，可以自己定 ...
分类：
其他好文 时间：
2018-04-02 18:08:20
阅读次数：
243
一、前述 本文分享一篇基于数据集cifa10的经典模型架构和代码。 二、代码 三、总结 最终，在cifar-10数据集上，通过一个短时间小迭代的训练，可以达到大致73%的准确率，持续增加max_steps，可以期望准确率逐渐增加如果max_steps比较大，则推荐使用学习速率衰减decay的SGD进 ...
分类：
其他好文 时间：
2018-03-30 13:13:31
阅读次数：
197
1. 什么是神经网络 例1：房屋价格预测 房屋大小（输入x）->函数（神经元）->房屋价格（输出y） 例2：房屋价格预测（多神经元） 给足够多的(x, y)样本，神经网络就会找到最好的映射方法 2. ReLu修正线性单元：函数的特点是开头一部分的取值为0（避免不可以小于0的情况） 3. 监督学习su ...
分类：
其他好文 时间：
2018-03-29 00:15:32
阅读次数：
190
1. 神经网络层数 = 隐层数+输出层（1） 输入不算是一层，可以说是第0层 W[1]可以用来表示是第1层的参数 隐层：在网络中是看不到它的 激活值：当前层会传递给下一层的值如a[0]表示输入层会传给第一层的值 2. 一层中有多个神经元，然后它们可以做相同的事 3.几种激活函数： sigmoid： ...
分类：
其他好文 时间：
2018-03-29 00:02:42
阅读次数：
75
1. 神经网络的符号表示 L = 4 层数为4 n[l]=5 第l层有5个神经元 n[0]=nx=3 输入层有3个特征值 a[l]第l层的激活函数 X=a[0] a[L]=y hat输出层 2. 为什么用深度来表示 1）大脑学习：从边缘的细节开始学习，一层层递进到大一点的范围（比如人脸识别，先从学习 ...
分类：
其他好文 时间：
2018-03-28 23:58:36
阅读次数：
360
一、前述 调优对于模型训练速度，准确率方面至关重要，所以本文对神经网络中的调优做一个总结。 二、神经网络超参数调优 1、适当调整隐藏层数对于许多问题，你可以开始只用一个隐藏层，就可以获得不错的结果，比如对于复杂的问题我们可以在隐藏层上使用足够多的神经元就行了， 很长一段时间人们满足了就没有去探索深度 ...
分类：
其他好文 时间：
2018-03-28 14:14:36
阅读次数：
195
neurons and simple neural networkspynest – nest模拟器的界面神经模拟工具（NEST：www.nest-initiative.org）专为仿真点神经元的大型异构网络而设计。 它是根据GPL许可证发布的开源软件。 该模拟器带有Python的接口[4]。 图1... ...
分类：
Web程序 时间：
2018-03-28 10:26:42
阅读次数：
209
学习资料来源：http://www.sohu.com/a/220499699_129720，很多语句从中摘抄而来，主要用于记笔记，感谢原创。 Sara 实现地址：https://github.com/Sarasra/models/tree/master/research/capsules Capsu ...
分类：
其他好文 时间：
2018-03-26 00:40:36
阅读次数：
166
1. 卷积: 1. Description: 和全连接的DNN相比, 卷积的网络参数大大减少, 因此连接权重和神经元个数的比重大大提升, 模型的计算量减少. 2. 依据: 图像中往往有大量区域的构造类似, 因此全连接中有大量的连接的意义相同, 造成计算 ...
分类：
其他好文 时间：
2018-03-21 11:27:25
阅读次数：
1207
1.sigmod函数——（tf.nn.sigmoid()） sigmod函数性质： 1.如图像所示其值域在[0,1]之间，函数输出不是0均值的，权重更新效率降低，因为这会导致后层的神经元的输入是非0均值的信号，这会对梯度产生影响：假设后层神经元的输入都为正(e.g. x>0 elementwise ...
分类：
其他好文 时间：
2018-03-19 00:33:45
阅读次数：
650
