前言 多层网络的训练需要一种强大的学习算法，其中BP（errorBackPropagation）算法就是成功的代表，它是迄今最成功的神经网络学习算法。 今天就来探讨下BP算法的原理以及公式推导吧。 神经网络 先来简单介绍一下神经网络，引入基本的计算公式，方便后面推导使用 图1 神经网络神经元模型 图 ...
分类：
编程语言 时间：
2017-02-18 18:47:52
阅读次数：
182
神经网络模型种类 一般地，CNN的基本结构包括两层，其一为特征提取层，每个神经元的输入与前一层的局部接受域相连，并提取该局部的特征。一旦该局部特征被提取后，它与其它特征间的位置关系也随之确定下来；其二是特征映射层，网络的每个计算层由多个特征映射组成，每个特征映射是一个平面，平面上所有神经元的权值相等... ...
分类：
其他好文 时间：
2017-01-22 13:28:45
阅读次数：
346
一、感知器 感知器是Frank Rosenblatt在1957年就职于Cornell航空实验室时发明的，其灵感来自于对人脑的仿真，大脑是处理信息的神经元（neurons）细胞和链接神经元细胞进行信息传递的突触（synapses）构成。 一个神经元可以看做将一个或者多个输入处理成一个输出的计算单元。一 ...
分类：
编程语言 时间：
2017-01-22 10:37:27
阅读次数：
2453
新的神经网络架构随时随地都在出现，DCIGN，IiLSTM，DCGAN~ 1. 前向传播网络（FF 或 FFNN） 非常直接，它们从前往后传输信息（分别是输入和输出）。神经网络通常都有很多层，包括输入层、隐藏层、输出层。单独一层不会有连接，一般相邻的两层是全部相连的（每一层的每个神经元都与另一层的每 ...
分类：
其他好文 时间：
2016-12-28 14:40:06
阅读次数：
133
·人的视神经在眼球上不是均匀分布的，视网膜凹仅占2-5度视角，而其中的神经元密集程度远远高于其他区域。如果按此密度均匀分布（160x175度），人眼将具有十亿个而不是百万个神经元·因此，人眼的运动能力非常强大，几乎可以立即指向视野内的任何方向·人的视线移动有两种模式： top-down主动模式（注意 ...
分类：
其他好文 时间：
2016-12-21 21:09:53
阅读次数：
168
随着大数据和机器硬件水平的提升，神经网络特别是深度神经网络现在是大火特火。因为目前的深度学习模型都是基于神经网络进行的改进和加深，所以要想对深度学习有一些较深入的研究，先熟悉和了解人工神经网络是非常有...
分类：
其他好文 时间：
2016-12-18 21:14:31
阅读次数：
376
一.神经网络基本原理 神经元模型 神经元模型 图中x1~xn是从其他神经元传来的输入信号，wij表示表示从神经元j到神经元i的连接权值，θ表示一个阈值 ( threshold )，或称为偏置( bias )。则神经元i的输出与输入的关系表示为： 图中 yi表示神经元i的输出，函数f称为激活函数 ( ...
分类：
其他好文 时间：
2016-12-17 20:04:51
阅读次数：
3604
一、人工神经元模型 1、突触权值（连接权） 每一个突触都由其权值作为特征表征，各个神经元之间的连接强度由突触权值来表示。与神经元相连的突触上，连接的输入信号通过权值的加权进入神经元的求和单元。 2、求和单元 求和单元用于求取各输入信号的突触加权和，这个操作构成一个线性组合器。 3、激活函数 激活函数... ...
分类：
其他好文 时间：
2016-12-11 21:09:45
阅读次数：
393
本文总结自《Neural Networks and Deep Learning》第1章的部分内容。 目录 感知器 S型神经元 神经网络的架构 用神经网络识别手写数字 迈向深度学习 感知器（Perceptrons） 1. 基本原理 感知器是一种人工神经元。 一个感知器接受几个二进制输入：x1，x2，. ...
分类：
其他好文 时间：
2016-12-09 22:11:21
阅读次数：
544
注：本文主要是在http://colah.github.io/posts/2015-08-Understanding-LSTMs/ 这篇文章的基础上理解写成，姑且也可以称作 The understanding of understanding LSTM network. 感谢此篇作者的无私分享和通俗 ...
分类：
其他好文 时间：
2016-12-05 13:52:28
阅读次数：
458
