A Rigorous & Readable Review on RNNsThis post introduces a newCritical Review on Recurrent Neural Networks for Sequence Learning.Twelve nights back, w...
分类:
其他好文 时间:
2015-06-03 21:04:16
阅读次数:
124
今天找到一个比较好的deep learning的教材:Neural Networks and Deep Learning对神经网络有详细的讲解,鉴于自己青年痴呆,还是总结下笔记吧=。=Perceptron感知器Perceptron的输入的一组binary变量xi,对这些binary变量求出加权和后,...
分类:
其他好文 时间:
2015-06-03 13:20:44
阅读次数:
151
1. vanish of gradientRNN的error相对于某个时间点t的梯度为:\(\frac{\partial E_t}{\partial W}=\sum_{k=1}^{t}\frac{\partial E_t}{\partial y_t}\frac{\partial y_t}{\part...
分类:
Web程序 时间:
2015-06-02 17:30:41
阅读次数:
227
这一部分介绍了卷积神经网络的概念和技巧,并且用Lasagne实际训练了一个卷积神经网络。在这基础上,分析模型的学习曲线,提出了用数据扩充方法来提高模型学习效果。然后介绍了在当前问题上应用数据扩充的具体操作。再次训练网络,分析了普通卷积神经网络使用了数据扩充技巧之后的训练效果。...
分类:
Web程序 时间:
2015-05-31 00:05:56
阅读次数:
163
这个exercise需要完成cnn中的forward pass,cost,error和gradient的计算。需要弄清楚每一层的以上四个步骤的原理,并且要充分利用matlab的矩阵运算。大概把过程总结了一下如下图所示:STEP 1:Implement CNN ObjectiveSTEP 1a: Fo...
分类:
Web程序 时间:
2015-05-30 12:03:11
阅读次数:
220
Kaggle Facial Point Detect 教程翻译第二部分:一个传统的三层神经网络用Lasagne工具定义和训练,并得到拟合结果。...
分类:
Web程序 时间:
2015-05-29 21:48:04
阅读次数:
313
Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.2
http://blog.csdn.net/sunbow0/
第一章Neural Net(神经网络)
2基础及源码解析
2.1 Neural Net神经网络基础知识
2.1.1 神经网络
基础知识参照:
http://deeplearning.stanford.edu/wiki...
分类:
Web程序 时间:
2015-05-28 21:41:29
阅读次数:
1193
Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.1
http://blog.csdn.net/sunbow0/
Spark MLlib Deep Learning工具箱,是根据现有深度学习教程《UFLDL教程》中的算法,在SparkMLlib中的实现。具体Spark MLlib Deep Learning(深度学习)目录结构:
第一章Ne...
分类:
Web程序 时间:
2015-05-28 21:40:22
阅读次数:
338
Spark MLlib Deep Learning Neural Net(深度学习-神经网络)1.3
http://blog.csdn.net/sunbow0/
第一章Neural Net(神经网络)
3实例
3.1 测试数据
3.1.1 测试函数
采用智能优化算法的经典测试函数,如下:
(1)Sphere Model
函数表达式
搜索范围
...
分类:
Web程序 时间:
2015-05-28 21:38:38
阅读次数:
802
许多现实世界的问题需要一定程度的灵活性,因为他们难以用人工编写的算法实现。这样的一个领域是基于视觉的自动驾驶。在这个任务中,多变的环境再加上实时处理约束的双重挑战使得机器学习系统的灵活性和有效性成为必需的要素。本章介绍了这样的一个学习系统,被称为ALVINN(Autonomous Land Vehicle In a Neural Network,神经网络的自动汽车)。它呈现了神经网络架构和训练的技...
分类:
其他好文 时间:
2015-05-28 09:35:40
阅读次数:
248