现在一直在用TensorFlow训练CNN和LSTM神经网络，但是训练期间遇到了好多坑，现就遇到的各种坑做一下总结 1.问题一;训练CNN的时候出现nan CNN是我最开始接触的网络，我的研究课题就是利用CNN，LSTM等网络对人体动作做识别。动作数据来源于手机的加速度计，做动作的人在固定位置携带手 ...
分类：
其他好文 时间：
2018-01-23 22:07:21
阅读次数：
2143
参考： "Understanding LSTM Networks" "(Karpathy blog )The Unreasonable Effectiveness of Recurrent Neural Networks" "(课程)CS224d: Deep Learning for Natural ...
分类：
其他好文 时间：
2018-01-14 21:28:03
阅读次数：
161
https://www.zhihu.com/question/64470274 http://colah.github.io/posts/2015-08-Understanding-LSTMs/ https://jasdeep06.github.io/posts/Understanding-LSTM ...
分类：
其他好文 时间：
2018-01-13 22:25:59
阅读次数：
474
http://blog.csdn.net/Jerr__y/article/details/70471066 欢迎转载，但请务必注明原文出处及作者信息。 @author: huangyongye @creat_date: 2017-04-19 前言 本例子主要介绍如何使用 TensorFlow 来一步 ...
分类：
其他好文 时间：
2018-01-13 21:02:22
阅读次数：
628
目标： 怎么训练很深的神经网络 然而过深的神经网络会造成各种问题，梯度消失之类的，导致很难训练 作者利用了类似LSTM的方法，通过增加gate来控制transform前和transform后的数据的比例，称为Highway network 至于为什么会有效...大概和LSTM会有效的原因一样吧。 方 ...
分类：
Web程序 时间：
2018-01-12 11:20:31
阅读次数：
204
最近发现有被组织抛弃的危险，决定改过自新，好好工作。 这是17CVPR的ORAL， "Fine Grained Recognition as HSnet Search for Informative Image Parts" 。主要的工作是想通过搜索的方式发现更好的能够对分类结果产生帮助的regio ...
分类：
其他好文 时间：
2018-01-06 23:28:45
阅读次数：
360
0.背景 通过对《tensorflow machine learning cookbook》第9章第3节"implementing_lstm"进行阅读，发现如下形式可以很方便的进行训练和预测,通过类进行定义，并利用了tf中的变量重用的能力，使得在训练阶段模型的许多变量，比如权重等，能够直接用在预测阶 ...
分类：
其他好文 时间：
2018-01-02 15:17:30
阅读次数：
198
转自：https://www.jianshu.com/p/86d667ee3c62，感谢分享！ pad_sequences & Masking layer 上面提到，文本数据也可以用CNN来处理。很多人有疑问，CNN的输入通常是一个（图像)矩阵，而文本中句子或者文章的长度不一，CNN如何将长短不一的 ...
分类：
其他好文 时间：
2017-12-30 12:12:42
阅读次数：
498
RNN RNN无法回忆起长久的记忆 LSTM （long short Term memory长短期记忆）解决梯度消失或弥散vanishing 和梯度爆炸explosion 0.9*n-->0 1.1*n >无穷大 在RNN中增加了Gate 案例 所以RNN无法回忆起长久的记忆。LSTM为了解决该问题 ...
分类：
其他好文 时间：
2017-12-27 15:22:30
阅读次数：
315
大体思想和RNN encoder-decoder是一样的，只是用来LSTM来实现。 paper提到三个important point： 1）encoder和decoder的LSTM是两个不同的模型 2）deep LSTM表现比shallow好，选用了4层的LSTM 3）实践中发现将输入句子rever ...
分类：
Web程序 时间：
2017-12-23 19:12:04
阅读次数：
258
