1.几个名词： 神经网络：是一种模仿生物神经网络的运算模型，由大量的节点之间相互联接构成。 传输函数：每个节点代表一种特定的输出函数，称为激励函数，完成对给节点信号的非线性映射，传输函数应该为单值函数，使得神经元是可逆的，常用的传输函数有Sigmoid函数和对数Sigmoid函数。 权重：每两个节点 ...
分类：
其他好文 时间：
2016-07-03 11:53:39
阅读次数：
654
一、起源（历史） 正则表达式的“鼻祖”或许可一直追溯到科学家对人类神经系统工作原理的早期研究。美国新泽西州的Warren McCulloch和出生在美国底特律的Walter Pitts这两位神经生理方面的科学家，研究出了一种用数学方式来描述神经网络的新方法，他们创造性地将神经系统中的神经元描述成了小 ...
分类：
编程语言 时间：
2016-06-24 14:21:54
阅读次数：
192
这是斯坦福CS224d深度学习与自然语言处理的第3课，这节课先会介绍单层和多层神经网络和它们在机器学习分类任务中的应用， 接着介绍如何利用反向传播算法来训练这些神经网络模型（在这个方法中，我们将利用偏导数的链式法则来层层更新神经元参数）。在给出神经网络以及这些算法严谨的数学定义后，介绍了训练神经网络的一些实用的技巧和窍门。...
分类：
编程语言 时间：
2016-06-19 14:21:42
阅读次数：
336
这是斯坦福CS224d深度学习与自然语言处理的第3课，这节课先会介绍单层和多层神经网络和它们在机器学习分类任务中的应用， 接着介绍如何利用反向传播算法来训练这些神经网络模型（在这个方法中，我们将利用偏导数的链式法则来层层更新神经元参数）。在给出神经网络以及这些算法严谨的数学定义后，介绍了训练神经网络的一些实用的技巧和窍门，比如，神经元（非线性激励），梯度检验，参数的Xavier初始化方法，学习速率，ADAGRAD...
分类：
编程语言 时间：
2016-06-19 11:41:38
阅读次数：
614
1 神经网络基本原理 图1. 人工神经元模型 X = [ x0 , x1 , x2 , ....... , xn ] 2. 常用激活函数 (1) 线性函数 ( Liner Function ) (2) 斜面函数 ( Ramp Function ) (3) 阈值函数 ( Threshold Funct ...
分类：
其他好文 时间：
2016-06-14 17:45:57
阅读次数：
255
神经网络的基本类型与学习算法： 目前已有的数十种神经网络模型，按网络结构划分可归纳为三大类:前馈网络、反馈网络和自组织网络。 前馈神经网络则是指神经元分层排列，分别组成输入层、中间层和输出层。每一层的神经元只接受来自前一层神经元的输入，后面的层对前面层没有信号反馈。输入模式经过各层的顺序传播，最后在 ...
分类：
其他好文 时间：
2016-06-13 11:48:08
阅读次数：
472
《神经网络与机器学习》第4章前半段笔记以及其他地方看到的东西的混杂…第2、3章的内容比较古老预算先跳过。
不得不说幸亏反向传播的部分是《神机》里边人话比较多的部分，看的时候没有消化不良。多层感知机书里前三章的模型的局限都很明显，对于非线性可分问题苦手，甚至简单的异或都弄不了。于是多层感知机（也就是传说中的神经网络）就被发明了出来对付这个问题。多层感知机就是由一系列的感知机，或者说神经元组成，每个神...
分类：
编程语言 时间：
2016-06-12 02:54:37
阅读次数：
339
人类的视觉能力基本上是出生后逐渐习得的，婴儿不是眼睛发育不足，而是头脑暂时还不会很好运用眼睛去观察世界，就好比蹩脚的摄影师，拿着顶级单反也拍不出好片。 婴儿开始看世界的过程，就是对视觉处理神经元网络进行训练的过程。初生婴儿需要学习的第一课是分辨物体轮廓，最初他们看到的世界只是各种颜色和明暗的块块，经 ...
分类：
其他好文 时间：
2016-06-08 22:55:06
阅读次数：
227
本系列文章都是关于UFLDL Tutorial的学习笔记Neural Networks
对于一个有监督的学习问题，训练样本输入形式为(x(i),y(i))。使用神经网络我们可以找到一个复杂的非线性的假设h(x(i))可以拟合我们的数据y(i)。我们先观察一个神经元的机制：
每个神经元是一个计算单元，输入为x1,x2,x3，输出为：
其中f()是激活函数，常用的激活函数是S函数：
S函数的形状如下，它...
分类：
Web程序 时间：
2016-06-02 14:26:24
阅读次数：
524
简介
神经网络中的神经元的灵感来源于人脑，人体中大约有860亿个神经元，大约有 10^14 - 10^15 突触（synapses）. 每个神经元由树突dendrites接收信号 轴突axon发射信号. 轴突又连接到其他神经单元 的树突.突触强度synaptic strengths (权重w) 可以经过学习控制输入信号的输出是抑制还是激活( excitory (positive weight)...
分类：
其他好文 时间：
2016-05-28 06:41:11
阅读次数：
1129
