系列前言
参考文献：
RNNLM - Recurrent Neural Network Language Modeling Toolkit(点此阅读)Recurrent neural network based language model(点此阅读)EXTENSIONS OF RECURRENT NEURAL NETWORK LANGUAGE MODEL(点此阅读)Strategi...
分类：
Web程序 时间：
2015-03-31 16:06:13
阅读次数：
160
系列前言
参考文献：
RNNLM - Recurrent Neural Network Language Modeling Toolkit(点此阅读)Recurrent neural network based language model(点此阅读)EXTENSIONS OF RECURRENT NEURAL NETWORK LANGUAGE MODEL(点此阅读)Strategi...
分类：
Web程序 时间：
2015-03-31 09:16:51
阅读次数：
204
系列前言
参考文献：
RNNLM - Recurrent Neural Network Language Modeling Toolkit(点此阅读)Recurrent neural network based language model(点此阅读)EXTENSIONS OF RECURRENT NEURAL NETWORK LANGUAGE MODEL(点此阅读)Strategi...
分类：
Web程序 时间：
2015-03-31 09:14:26
阅读次数：
229
参考文献：RNNLM - Recurrent Neural Network Language Modeling Toolkit（点此打开）
参考文献：STATISTICAL LANGUAGE MODELS BASED ON NEURAL NETWORKS（点此打开）
由Mikolov用rnn对语言进行建模所获得的效果已经超过传统的N-GRAM了，具体的实验结...
分类：
其他好文 时间：
2015-03-30 13:26:32
阅读次数：
252
本文来自CSDN博客，转载请注明出处：http://blog.csdn.net/a635661820/article/details/44730507
参考文献: A Neural Probabilistic Language Model
参照我另一篇NNLM学习介绍的博客, 这一篇是对NNLM的简要实现, 自己简化了一些，输入层到输出层没有连接(加上直连边的真在...
分类：
编程语言 时间：
2015-03-30 09:31:10
阅读次数：
450
参考资料：人工神经网络－韩力群PPT
看了一些关于基于神经网络的语言模型, 与传统语言模型相比, 除了计算量让人有点不满意之外, 不需要额外的平滑算法, 感觉它们的效果让人惊讶。 这些网络里面都能看到BP的影子, 可以说BP网络是最基本的, 掌握扎实了, 对其他结构理解会更深刻，
于是早在学习语言模型之前我自己曾经用c++写过一个简单的BP网络，虽然功能简单，只有最基本的三...
分类：
编程语言 时间：
2015-03-30 09:27:29
阅读次数：
248
参考文献：
1. Statistical Language Models Based on Neural Networks
2. A guide to recurrent neural networks and backpropagation
前一篇文章介绍了nnlm，用神经网络来对语言进行建模，nnlm一个很大的优点就是将历史映射到一个低维的空间而并不像普通n-gram,这就降低了...
分类：
其他好文 时间：
2015-03-19 22:12:06
阅读次数：
2611
一、目的加快参数的收敛速度。二、做法另第t次的权重更新对第t+1次的权重更新造成影响。从上式可看出，加入momentum后能够保持权重的更新方向，同时加快收敛。通常alpha的取值为[0.7, 0.95]
分类：
Web程序 时间：
2015-03-16 22:42:06
阅读次数：
165
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习算法中，如何选取初始的超参数的值。（本文会不断补充）学习速率（learning rate，η）运用梯度下降算法进行优化时，权重的更新规则中，在梯度项前会乘以一个系数，这个系数就叫学习速率η。下面讨论在训练时选取η的策略。
固定的学习速率。如果学习速率太小，则会使收敛过慢，如果学习速率太大，则...
分类：
编程语言 时间：
2015-03-15 00:52:06
阅读次数：
1015
本文是《Neural networks and deep learning》概览 中第三章的一部分，讲机器学习/深度学习算法中常用的正则化方法。（本文会不断补充）正则化方法：防止过拟合，提高泛化能力在训练数据不够多时，或者overtraining时，常常会导致overfitting（过拟合）。其直观的表现如下图所示，随着训练过程，网络在training data上的error渐渐减小，但是在验证集上...
分类：
其他好文 时间：
2015-03-14 18:32:59
阅读次数：
63684
