1. 生物学家做实验发现脑皮层对简单的结构比如角、边有反应，而通过复杂的神经元传递，这些简单的结构最终帮助生物体有了更复杂的视觉系统。1970年David Marr提出的视觉处理流程遵循这样的原则，拿到图像后，先提取角、边、曲线等等简单的几何元素，然后再用深度信息、表面信息等更高层的复杂信息，最后是 ...
分类：
编程语言 时间：
2017-10-12 00:57:38
阅读次数：
221
回归：过拟合情况 / 分类过拟合 防止过拟合的方法有三种： 1 增加数据集 2 添加正则项 3 Dropout,意思就是训练的时候隐层神经元每次随机抽取部分参与训练。部分不参与 最后对之前普通神经网络分类mnist数据集的代码进行优化，初始化权重参数的时候采用截断正态分布，偏置项加常数，采用drop ...
分类：
其他好文 时间：
2017-10-08 14:43:42
阅读次数：
345
做机器学习的同志们应该对这个都不陌生，这里简单举个例子。一般来说，使用softmax函数来将神经元输出的数值映射到0到1之间，这样神经元输出的值就变为了一个概率值。 公式和例子如下图 公式和例子如下图 ...
分类：
其他好文 时间：
2017-10-07 18:47:23
阅读次数：
109
为什么音乐会让人开心？ 为什么第一遍听很难听的音乐，多听几遍会觉得还可以？ 为什么有人会喜欢京剧？ 小休片刻，想了一下这个问题。 音乐听了一两遍就会记住，而人的记忆，深层记忆会形成新的神经元突触，也就是加深记忆的回路，所以每一次听这些音乐就是加深回路，当不太好听的音乐多听几遍也都形成了这个回路，所以 ...
分类：
其他好文 时间：
2017-10-07 12:11:13
阅读次数：
129
1.1 感知器 感知器的输出为： wj为权重，表示相应输入对输出的重要性； threshold为阈值，决定神经元的输出为0或1。 也可用下式表示： 其中b=-threshold，称为感知器的偏置。 通过学习算法，能够自动调整人工神经元的权重和偏置。 1.2 S型神经元 感知器模型中，权重或偏置的微小 ...
分类：
其他好文 时间：
2017-10-03 17:48:34
阅读次数：
152
1.人工神经网络 神经网络由大量的节点（或称“神经元”、“单元”）和相互连接而成。每个神经元接受输入的线性组合，进行非线性变换（亦称激活函数activation function）后输出。每两个节点之间的连接代表加权值，称之为权重（weight）。不同的权重和激活函数，则会导致神经网络不同的输出。 ...
分类：
其他好文 时间：
2017-09-22 22:39:35
阅读次数：
348
说明： 本文是关于http://neuralnetworksanddeeplearning.com/的相关笔记 问题一：神经元在错误的值上饱和导致学习速率的下降 解决： 1.输出层： 因使用二次代价函数时，学习在神经元犯了明显错误时却比学习快接近真实值时慢， 可以使用交叉熵代价函数 使得在神经元犯明 ...
分类：
其他好文 时间：
2017-09-20 21:57:18
阅读次数：
131
在这里我们来讨论一下神经网络。在我们这里所要讨论的神经网络，不是动物或者人的神经网络，而是为计算机量身定制的神经系统。计算机神经网络是一种模仿生物神经网络或者是动物的神经中枢，特别是大脑的结构或者功能，它是一种数学模型或者是计算机模型。神经网络有大量的人工神经元连接进行计算，大多情况下人工神经网络可 ...
分类：
其他好文 时间：
2017-09-19 21:14:45
阅读次数：
200
1*1卷积比如一张500*500且厚度depth为100的图片在20个filter上做1*1卷积，那么结果大小为500*500*20 只有池化改变图片的大小 一个大的全连接层可以理解为一个神经网络，这个NN 中的神经元连接着前一层的每一个输入 ，所以最后一层数据被延展为一个巨大 的列向量。 卷积的过 ...
分类：
其他好文 时间：
2017-09-18 17:33:48
阅读次数：
177
神经元的传递：一个下游神经元，它接受其上游神经元的各个突触传过来的信号，然而，每个突触对该下游神经元的激活权重是不同的。 从神经网络的本质上说，当人连续、多次遭受失败的时候，大脑内就会释放大量的抑制性的神经递质，会削弱突触连接。已知有一种叫γ-氨基丁酸 是强的神经抑制剂。 耳聋基因：xgene43 ...
分类：
其他好文 时间：
2017-09-18 14:46:12
阅读次数：
278
