深度学习是一个框架，包含多个重要算法: Convolutional Neural Networks(CNN)卷积神经网络 AutoEncoder自动编码器 Sparse Coding稀疏编码 Restricted Boltzmann Machine(RBM)限制波尔兹曼机 Deep Belief N ...
分类：
其他好文 时间：
2018-07-11 19:52:55
阅读次数：
3456
Time Series Prediction with LSTM Recurrent Neural Networks in Python with Keras Time series prediction problems are a difficult type of predictive mod ...
分类：
其他好文 时间：
2018-07-10 14:35:29
阅读次数：
190
1、RNN（Recurrent Neural Network）循环神经网络模型 详见RNN循环神经网络：https://www.cnblogs.com/pinard/p/6509630.html 2、LSTM（Long Short Term Memory）长短期记忆神经网络模型 详见LSTM长短期记 ...
分类：
其他好文 时间：
2018-07-07 15:39:15
阅读次数：
242
现有分布式模型训练的模式 分布式SGD 并行SGD： 大规模训练中，一次的最长时间取决于最慢的机器 异步SGD： 不同步的数据，有可能导致权重更新向着未知方向 并行多模型 ：多个集群训练不同的模型，再组合最终模型，但是会消耗inference运行时 蒸馏：流程复杂 student训练数据集的选择 u ...
分类：
Web程序 时间：
2018-07-06 01:41:52
阅读次数：
262
Refer to : https://towardsdatascience.com/the-fall-of-rnn-lstm-2d1594c74ce0 (The fall of RNN / LSTM) “hierarchical neural attention encoder”, shown in ...
分类：
Web程序 时间：
2018-07-01 10:28:15
阅读次数：
434
Refer to : The Unreasonable Effectiveness of Recurrent Neural Networks Recurrent Neural Networks Sequences. Depending on your background you might be ...
分类：
Web程序 时间：
2018-07-01 10:26:28
阅读次数：
190
L2 Regularization是解决Variance（Overfitting）问题的方案之一，在Neural Network领域里通常还有Drop Out, L1 Regularization等。无论哪种方法，其Core Idea是让模型变得更简单，从而平衡对training set完美拟合、以 ...
分类：
其他好文 时间：
2018-06-30 19:59:15
阅读次数：
150
Ren, Shaoqing, et al. “Faster R-CNN: Towards real-time object detection with region proposal networks.” Advances in Neural Information Processing Syst ...
分类：
编程语言 时间：
2018-06-30 18:52:51
阅读次数：
329
一、原理 Exact and Consistent Interpretation for Piecewise Linear Neural Networks: A Closed Form Solution KDD2018的这篇文章，指出对于采用分段线性激活函数如Relu、最后接softmax的深度学习 ...
分类：
其他好文 时间：
2018-06-28 19:25:05
阅读次数：
504
RNN RNN（Recurrent Neural Networks,循环神经网络）不仅会学习当前时刻的信息，也会依赖之前的序列信息。由于其特殊的网络模型结构解决了信息保存的问题。所以RNN对处理时间序列和语言文本序列问题有独特的优势。递归神经网络都具有一连串重复神经网络模块的形式。在标准的RNNs中 ...
分类：
其他好文 时间：
2018-06-16 16:17:30
阅读次数：
234
