在前一节当中我们讨论了神经网络静态的部分：包括神经网络结构、神经元类型、数据部分、损失函数部分等。这个部分我们集中讲讲动态的部分，主要是训练的事情，集中在实际工程实践训练过程中要注意的一些点，如何找到最合适的参数。...
分类：
其他好文 时间：
2016-01-15 01:16:27
阅读次数：
2453
一提到人工神经网络应当想到三个基础的知识点：一是神经元模型；二是神经网络结构；三是学习算法。神经网络的种类多种多样，但其分类依据逃不出上面上个基础知识点。所以在学习中如果能够仅仅把握住以上三个线索，就能触类旁通，拥有一个非常好的视角看待神经网络。今天就对这三个基础知识点进行总结，达到指导神经网络学习以及深化对神经网络的理解的目的。
一、神经元模型
人工神经网络是在现代神经生物学研究基础上提出的...
分类：
其他好文 时间：
2015-08-14 19:21:00
阅读次数：
255
1.卷积神经网络结构卷积神经网络是一个多层的神经网络，每层都是一个变换（映射），常用卷积convention变换和pooling池化变换，每种变换都是对输入数据的一种处理，是输入特征的另一种特征表达；每层由多个二维平面组成，每个平面为各层处理后的特征图（feature map）。常见结构：输入层为训...
分类：
其他好文 时间：
2015-08-10 00:01:54
阅读次数：
1997
对于RBF神经网络的原理已经在我的博文《机器学习之径向基神经网络（RBF NN）》中介绍过，这里不再重复。今天要介绍的是常用的RBF神经网络学习算法及RBF神经网络与多层感知器网络的对比。
一、RBF神经网络学习算法
广义的RBF神经网络结构如下图所示：
N-M-L结构对应着N维输入，M个数据中心点centers，L个输出。
RBF 网络常用学习算法
RBF 网络的设计包括结...
分类：
编程语言 时间：
2015-08-07 11:10:30
阅读次数：
370
本文基于台大机器学习技法系列课程进行的笔记总结。
一、主要内容
topic 1 深度神经网络结构
从类神经网络结构中我们已经发现了神经网络中的每一层实际上都是对前一层进行的特征转换，也就是特征抽取。一般的隐藏层（hidden layer）较少的类神经网络结构我们称之为shallow，而当隐藏层数比较多的类神经网络结构我们称之为deep。如下图所示：
从两者的对比中可以明显...
分类：
其他好文 时间：
2015-07-16 17:04:07
阅读次数：
267
这篇笔记中，通过一个简单的CNN的例子，梳理一下CNN的网络结构的细节。
以下是一个6层的CNN网络，我们输入的是一张大小为28*28的图片。
需要注意的有：
1，这里输入的是一张图片，如果我们输入了50张图片，那么下图中的每一个方框（代表一种特征图）实际上代表了50张图片。
2，在S3和S5的采样层只做了mean pooling，其实一般还会有加偏置和激活的操作，这个CNN网络比较简单，...
分类：
其他好文 时间：
2015-07-05 21:18:32
阅读次数：
1626
BP算法是一种最有效的多层神经网络学习方法，其主要特点是信号前向传递，而误差后向传播，通过不断调节网络权重值，使得网络的最终输出与期望输出尽可能接近，以达到训练的目的。一、多层神经网络结构及其描述 下图为一典型的多层神经网络。通常一个多层神经网络由L层神经元组成，其中：第1层称为输入层，最后一层（第...
分类：
其他好文 时间：
2015-06-21 00:47:45
阅读次数：
1160
深度神经网络结构以及Pre-Training的理解Logistic回归、传统多层神经网络1.1 线性回归、线性神经网络、Logistic/Softmax回归线性回归是用于数据拟合的常规手段，其任务是优化目标函数：h(θ)=θ+θ1x1+θ2x2+....θnxn线性回归的求解法通常为两种：①解优化多...
分类：
其他好文 时间：
2015-06-19 18:29:17
阅读次数：
227
最近迷上神经进化(Neuroevolution)这个方向，感觉是Deep Learning之后的一个很不错的研究领域。该领域的一个主导就是仿照人的遗传机制来进化网络参数与结构。注意，连网络结构都可以进化，就是不像是传统的神经网络，结构是提前定义好的。
最近这个领域研究的比较多的是 弗罗里达大学的Stanley教授，主要的贡献有NEAT，HyperNEAT以及Novelty Search，...
分类：
Web程序 时间：
2015-06-03 15:48:49
阅读次数：
261
神经网络的挑战和关键技术：1.神经网络结构决定（层，神经元，连接） 加入特定领域的知识（CNN 图片处理）2.模型复杂度高 大的数据量； regularization: dropout；denoising3.最优化困难 好的初始化以避免局部最优：pre-training4.计算复杂度高 好的硬件方....
分类：
Web程序 时间：
2015-05-13 21:11:23
阅读次数：
291
