参考资料：人工神经网络－韩力群PPT
看了一些关于基于神经网络的语言模型, 与传统语言模型相比, 除了计算量让人有点不满意之外, 不需要额外的平滑算法, 感觉它们的效果让人惊讶。 这些网络里面都能看到BP的影子, 可以说BP网络是最基本的, 掌握扎实了, 对其他结构理解会更深刻，
于是早在学习语言模型之前我自己曾经用c++写过一个简单的BP网络，虽然功能简单，只有最基本的三...
分类：
编程语言 时间：
2015-03-30 09:27:29
阅读次数：
248
参考文献：
1. Statistical Language Models Based on Neural Networks
2. A guide to recurrent neural networks and backpropagation
前一篇文章介绍了nnlm，用神经网络来对语言进行建模，nnlm一个很大的优点就是将历史映射到一个低维的空间而并不像普通n-gram,这就降低了...
分类：
其他好文 时间：
2015-03-19 22:12:06
阅读次数：
2611
一、目的加快参数的收敛速度。二、做法另第t次的权重更新对第t+1次的权重更新造成影响。从上式可看出，加入momentum后能够保持权重的更新方向，同时加快收敛。通常alpha的取值为[0.7, 0.95]
分类：
Web程序 时间：
2015-03-16 22:42:06
阅读次数：
165
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习算法中，如何选取初始的超参数的值。（本文会不断补充）学习速率（learning rate，η）运用梯度下降算法进行优化时，权重的更新规则中，在梯度项前会乘以一个系数，这个系数就叫学习速率η。下面讨论在训练时选取η的策略。
固定的学习速率。如果学习速率太小，则会使收敛过慢，如果学习速率太大，则...
分类：
编程语言 时间：
2015-03-15 00:52:06
阅读次数：
1015
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习/深度学习算法中常用的正则化方法。（本文会不断补充）正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程，网络在training data上的error渐渐减小，但是在验证集上...
分类：
其他好文 时间：
2015-03-14 18:32:59
阅读次数：
63684
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲machine learning算法中用得很多的交叉熵代价函数。1.从方差代价函数说起代价函数经常用方差代价函数（即采用均方误差MSE），比如对于一个神经元（单输入单输出，sigmoid函数）,定义其代价函数为： 其中y是我们期望的输出，a为神经元的实际输出【 a=σ(z), where z=wx+...
分类：
其他好文 时间：
2015-03-13 14:27:18
阅读次数：
293
最近阅读了《Neural networks and deep learning》这本书（online book，还没出版），算是读得比较仔细，前面几章涉及的内容比较简单，我着重看了第三章《Improving the way neural networks learn》，涉及深度神经网络优化和训练的各种技术，对第三章做了详细的笔记（同时参考了其他资料，以后读到其他相关的论文资料也会补充或更改），欢迎有...
分类：
Web程序 时间：
2015-03-12 13:21:17
阅读次数：
189
under review as a conference paper at ICLR 2015.Motivation：本文提出来一种regularization的方法，叫做FaMe (Factored Mean training). The proposed FaMe model aims to a...
分类：
Web程序 时间：
2015-03-10 18:58:58
阅读次数：
186
机器学习Machine Learning - Andrew NG
courses学习笔记
Cost Function代价函数
Backpropagation Algorithm BP反向传播算法
Backpropagation Intuition反向传播直觉知识
Implementation Note_ Unrolling Parameters执行节点展开参...
分类：
Web程序 时间：
2015-03-07 21:22:47
阅读次数：
376
http://nikhilbuduma.com/2015/01/11/a-deep-dive-into-recurrent-neural-networks/按照这里的介绍，目前比较火的cnn是feed-forward的网络，而rnn是back projections。lstm则是rnn的一种特例。r...
分类：
其他好文 时间：
2015-03-03 09:51:32
阅读次数：
167
