标签：deep learning cnn rbm dnn rnn
本文笔记旨在概括地讲deep learning的经典应用。内容太大，分三块。
---------------------------------------------------------------------------------------------
Content
1. 回顾 deep learning在图像上的经典应用
1.1 Autoencoder
1.2 MLP
1.3 CNN<详细的见上一篇CNN>
2. deep learning处理语音等时序信号
2.1 对什么时序信号解决什么问题
2.2 准备知识
2.2.1 Hidden Markov Model(HMM)
2.2.2 GMM-HMM for Speech Recognition
2.2.3 Restricted Boltzmann Machine（RBM）
3. DBN 和 RNN 在语音上的应用
3.1 DBN
3.1.1 DBN架构
3.1.2 DBN-DNN for Speech Recognition
3.2 RNN
3.2.1 RNN种类
3.2.2 RNN-RBM for Sequential signal Prediction
---------------------------------------------------------------------------------------------
1. 回顾 deep learning处理图像等非时序信号 <详细的见上一篇CNN>
----------------------------------------------
1.1 AutoEncoder（unsupervised）
扩展：Stack AutoEncoder（可以变成supervised），见Andrew Ng的UFLDL教程，我就不贴图了
----------------------------------------------
1.2 MLP
MLP（ANN）是最naive的神网分类器。一个hidden层，连两端nonlinear function，output输出为f(x)，softmax做分类。
----------------------------------------------
1.3 Convolutional Neural Network
特点：1. 非全连接，2、共享权重
做法：1. 卷积 2. 降采样（pooling）
具体见上一篇CNN
---------------------------------------------------------------------------------------------
2. deep learning处理语音等时序信号
2.1 对什么时序信号解决什么问题：
handwriting recognition
speech recognition
music composition
protein analysis
stock market prediction
...
2.2 准备知识：
----------------------------------------------
2.2.1 Hidden Markov Model(HMM) - 带unobserved（这就是所谓hidden）states的随机过程，表示输入语音信号和hidden state（因素）的模型：
<figure from wiki>
训练HMM模型：给定一个时序y1...yT, 用MLE（typically EM implemented，具体见这篇第三部分training） 估计参数；
----------------------------------------------
2.2.2 GMM-HMM for Speech Recognition (较大，单独放在一篇blog里了)
----------------------------------------------
2.2.3 Restricted Boltzmann Machine
讲RBM之前要先讲一下生成模型……<How to build a single layer of feature detector>
大体分为两类——directed model & undirected model:
1.directed model （e.g. GMM 从离散分布求latent状态）
根据先验分布选择latent variable的状态
给定latent states，根据条件分布求observable variables的状态
2.undirected model
只用参数W，通过能量函数定义v(visible)和h(hidden latent variables)的联合概率
PS: explaining away是什么？
state的先验相互独立，后验也相互独立，
下面再讲RBM。
RBM 是马尔科夫随机场（MRF）的一种。不同之处：
1. RBM是一个双向连接图（bipartite connectivity graph）
2. RBM在不同unit之间不共享权重
3. 有一部分变量是unobserved
RBM对能量函数E(v,h)的定义：
RBM的参数构成：W(weight), bias_h, bias_v
已知联合分布P(v,h) ， 可通过Gibbs采样边缘分布分别得到h,v，根据Gradient of NLL进行梯度下降学习到参数。
RBM的训练目标是：最大化p(v=visible)。（visible=真实的visible数据）
RBM实际训练过程中，对每个training_batch：
contrastive divergence 采样k次（gibbs CD-k）
根据cost function进行update : 
上面讲的RBM都是v,h = 0/1的，那怎么处理real-value的呢？
ANS：用Gaussian-Bernoulli RBM (GRBM)。对上面经典RBM改动不大，只需要改energy function & conditional prob:
3. DBN 和 RNN 在语音上的应用
3.1 DBN
3.1.1 DBN架构
流程：
1. pre-train
从左到右来看，由于输入为real-value，所以第一层为GRBM，训练W1
GRBM训练出来的hidden给下一个RBM做input，训练W2
这个RBM训练出来的hidden再传给下一个RBM做input，训练W3
……（重复）
2. 可以直接把这几层pre-train好的W叠起来，双向weight箭头全改成top-down的，成了一个DBN生成模型
3. 加分类器
可以最后在这个pre-trained网络头部加一个softmax分类器，其中每个节点表示HMM中一个状态，去做有监督的fine-tuning.。
3.1.2 DBN-DNN for Speech Recognition
如果你仔细看过上一篇GMM-HMM for Speech Recognition就会发现，这个模型和GMM-HMM只差在GMM
即，DNN-HMM用DNN（undirected model）代替了HMM（directed model）,这样的好处是可以解决h，v之间非线性关系映射。
Fig1. GMM-HMM Fig2. DNN-HMM
3.2 RNN
3.2.1 RNN种类
常见的：
1.Fully Recurrent Network
2.Hopfield Network
3.Elman Network (Simple Recurrent networks)
4.Long short term memory network
fig. LSTM
3.2.2 RNN-RBM for Sequential signal Prediction
见一个RNN例子，RNNRBM（RNN-RBM for music composition 网络架构及程序解读）
Reference:
为了大家看的方便，我推荐从简了。。。抄了太多图，不贴出处了大牛们见谅。。不然一堆推荐无从下手滴样纸
Deep Learning 在语音上的应用DNN经典文章:
1. Hinton, Li Deng, Dong Yu大作：Deep Neural Networks for Acoustic Modeling in Speech Recognition
2. Andrew Ng, NIPS 09, Unsupervised feature learning for audio classi?cation using convolutional deep belief networks
Deep Learning 在语音上的应用RNN经典文章:
1. Bengio ICML 2012. RNN+RBM paper有实现 （下一篇细讲）
2. Schmidhuber JMLR 2002 paper讲LSTM经典
3. The Use of Recurrent Neural Networks in Continuous Speech Recognition, 老文章讲RNN比较基础,但是确实经典
Deep learning From Image to Sequence
标签：deep learning cnn rbm dnn rnn
原文地址：http://blog.csdn.net/abcjennifer/article/details/27170627
