这一讲还是嘉宾的讲课,讲得是关于parallel计算方面的。俗话说的好:“三个臭皮匠,顶个诸葛亮嘛”。哈哈
因为一台计算机,或者一个处理器的处理能力是有限的,进行并行计算能够大大提高运算速度,节省调试的时间。而我们的NN是如此的复杂,有时候规模也特别大,所以使用并行计算是很有必要的。
这一讲呢,主要分为五个部分:1.Efficient formulations 2.CPUs and...
分类:
其他好文 时间:
2015-08-12 21:51:43
阅读次数:
211
接着上一篇的内容:四:Transfer Learning:1.对于数据量少或者中等的情况,迁移学习很有用2.基于ImageNet的实验,将ImageNet的所有类的各分一半为A,B:(1).先训练A部分,然后将前n层的参数保存好;再重新初始化后n+层的参数,用B部分训练;再将前面保存好的参数,和后面训练B部分得到的参数结合,在B的验证集上进行验证:(2).先训练A部分,训练完A后重新初始化n+层后面...
分类:
其他好文 时间:
2015-08-12 16:55:40
阅读次数:
110
欢迎转载,转载注明出处:
不知不觉到了第三部分了,整个课程也快结束了,虽然不是第一次整个推完公开课,但是还是有些兴奋呢!
废话不多说,开始总结啦!
这节课就介绍了一个模型,就是在Computer Vision里十分popular的CNN(Convolutional Neural Networks)。不过这里介绍它在NLP的应用,可见model其实是可以有不...
分类:
其他好文 时间:
2015-08-10 01:57:14
阅读次数:
239
**************************************
注:本系列博客是博主学习Stanford大学 Andrew Ng 教授的《机器学习》课程笔记。博主深感学过课程后,不进行总结很容易遗忘,根据课程加上自己对不明白问题的补充遂有此系列博客。本系列博客包括线性回归、逻辑回归、神经网络、机器学习的应用和系统设计、支持向量机、聚类、将维、异常检测、推荐系统及大规模机器学习等内容...
分类:
其他好文 时间:
2015-08-10 00:23:06
阅读次数:
146
欢迎转载,转载注明出处:
1.以下是problem set 2的详细推导过程:
2.
附上我自己敲的代码的解决过程,有错误请不吝指正。
https://github.com/NeighborhoodWang/CS224D-problem-set2.git
3.注意的要点:
Python...
分类:
其他好文 时间:
2015-08-09 20:47:06
阅读次数:
208
总结斯坦福2015李飞飞教授以及Andrej Karpathy教授的上课的slides中关于CNN的一些内容一:神经网络实验的基本策略:1.对输入数据进行预处理:
2.网络结构和数据集设置:(1)-随机初始化weights为一些比较小的数(fan-in,fan-out),bias设置为0(2)-利用好cv集,可以在少量epoch的结果下选择最好的params,然后进行更多的epoch3.分析实验结...
分类:
其他好文 时间:
2015-08-09 20:44:59
阅读次数:
222
**************************************
注:本系列博客是博主学习Stanford大学 Andrew Ng 教授的《机器学习》课程笔记。博主深感学过课程后,不进行总结很容易遗忘,根据课程加上自己对不明白问题的补充遂有此系列博客。本系列博客包括线性回归、逻辑回归、神经网络、机器学习的应用和系统设计、支持向量机、聚类、将维、异常检测、推荐系统及大规模机器学习等内容...
分类:
其他好文 时间:
2015-08-09 12:35:38
阅读次数:
1496
*******************************************************************************
注:本系列博客是博主学习Stanford大学 Andrew Ng 教授的《机器学习》课程笔记。博主深感学过课程后,不进行总结很容易遗忘,根据课程加上自己对不明白问题的补充遂有此系列博客。本系列博客包括线性回归、逻辑回归、神经网络、机器学习...
分类:
其他好文 时间:
2015-08-08 15:01:04
阅读次数:
469
Go Go Go
第十讲也顺利结束啦,不愧是Advanced Recursive NN讲得内容确实有些Advanced,不过如果认真听课再认真看课后的paper的话,我相信还是可以完全理解的。
开始总结喽。。。
首先,老师在课上开篇讲了RNN的一个综述吧,也是使用RNN进行NLP的三个大的要素:1.Train objective主要有两种,一种是cross-entropy或者ma...
分类:
其他好文 时间:
2015-08-04 23:06:02
阅读次数:
301
上一篇文章总结说,Stanford视频前六节需要总结的内容主要分为三部分:总结一下教授对iOS的简介总结一下教授在这六节课里面讲的语法MVC,Cocoa Touch, Happiness Demo前两部分在上一篇文章里面大概梳理了一下,当时有些知识点的细节没有详解总结,毕竟如果真要总结的话,每个知识...
分类:
移动开发 时间:
2015-08-02 11:30:00
阅读次数:
143