Go Go Go
第十讲也顺利结束啦，不愧是Advanced Recursive NN讲得内容确实有些Advanced，不过如果认真听课再认真看课后的paper的话，我相信还是可以完全理解的。
开始总结喽。。。
首先，老师在课上开篇讲了RNN的一个综述吧，也是使用RNN进行NLP的三个大的要素：1.Train objective主要有两种，一种是cross-entropy或者ma...
分类：
其他好文 时间：
2015-08-04 23:06:02
阅读次数：
301
Deep Learning:Assuming a deep neural network is properly regulated, can adding more layers actually make the performance degrade?I found this to be re...
分类：
Web程序 时间：
2015-08-04 20:41:51
阅读次数：
126
感悟：曾经一直对自己在组内的研究方向特别困惑，一方面师兄想让自己在组内研究Spark，但组内的师兄和导师对Spark并不太熟悉，另外也没有具体的任务驱动去完成这件事；另一方面自己觉得师兄对deep learning比较熟悉，跟着或许能学点东西。但是今日和同学锦坤交流后又觉得对于目前的自己来说de.....
分类：
其他好文 时间：
2015-08-02 22:55:52
阅读次数：
125
最近几课的内容不是很难，还有我的理解能力有所提高（自恋一下），所以这几课完成的都挺快。不知不觉lec9也完成了。这一讲讲了另一个RNN，其中R是Recursive不是之前的Recurrent。课上老师使用Recursive NN来做NLP和CV的任务，我个人认为做CV还是不错的，这个NLP怎么感觉有点不靠谱。不管怎么说这个model还是解决了很多实际问题的，而且性能也不错，现在就来记录记录喽。...
分类：
其他好文 时间：
2015-08-02 01:01:31
阅读次数：
271
Current statistical machine translation systems源语言：法语目标语言：英语概率公式（利用贝叶斯定理）：在平行语料库（parallel corpora）上训练翻译模型p(f|e)在英语语料库上训练语言模型p(e)Step1: Alignment目标：将源语言中的单词或者短语匹配到正确的目标语言中的单词或者短语假如匹配好了单词和短语，那么又如何给这些单词和短...
分类：
其他好文 时间：
2015-08-01 22:04:49
阅读次数：
157
Overview传统语言模型RNNsRNN 语言模型一些训练时重要的策略和技巧梯度消失和梯度爆炸的问题双向RNNs其他序列问题中的RNNsLanguage Models语言模型计算的是一连串词的概率：P(w1,w2…wT)；其中的w1,w2…wT都是词向量。这种语言模型有利于机器翻译，例如：1.词序：p(the cat is small) > p(small the is cat)2.词的选取：p(...
分类：
其他好文 时间：
2015-07-31 18:24:53
阅读次数：
227
Understanding Convolution in DeepLearningConvolution is probably the most important concept in deep learning right now. It was convolution and convolu...
分类：
其他好文 时间：
2015-07-29 21:12:46
阅读次数：
95
The Brain vs Deep Learning Part I: Computational Complexity — Or Why the Singularity Is NowhereNearJuly 27, 2015July 27, 2015Tim DettmersDeep Learning...
分类：
其他好文 时间：
2015-07-29 21:03:31
阅读次数：
113
深度学习中不同的权重初始化方法总结。【Gaussian】【Xavier】【MSRA】...
分类：
其他好文 时间：
2015-07-27 22:58:23
阅读次数：
208
全连接层压缩；李飞飞视觉QA系统；双向CNN；双流CNN（RGB+D）...
分类：
其他好文 时间：
2015-07-27 16:20:36
阅读次数：
1098
