在RNN(1)中，我们将带有Reccurent Connection的node依照时间维度展开成了如下的形式： 在每个时刻t=0,1,2,3,...，神经网络的输出都会产生error：E0,E1,E2,E3,....。同Feedforward Neural Network一样，RNN也使用Backp ...
分类：
Web程序 时间：
2018-06-03 14:19:47
阅读次数：
227
Abstract 在DeepLearning日益发展的同时，模型压缩的关注度也越来越大。继BWN和TWN之后， 这篇论文在超低比特量化领域的一篇新思想文章，发表在AAAI2018上，作者是阿里的。 该文的主要思想是将超低bit quantization建模成一个离散约束优化问题(discretely ...
分类：
Web程序 时间：
2018-06-02 11:27:38
阅读次数：
367
Kaiming HeXiangyu ZhangShaoqing RenMicrosoft Research {kahe, v-xiangz, v-shren, jiansun}@microsoft.com Abstract Deeper neural networks are more diffic ...
分类：
其他好文 时间：
2018-05-31 23:35:10
阅读次数：
332
Yin的这篇论文提出了一种叫Bi-CNN-MI的架构，其中Bi-CNN表示两个使用Siamese框架的CNN模型；MI表示多粒度的交互特征。Bi-CNN-MI包含三个部分： 句子分析模型 (CNN-SM) 这部分模型主要使用了上述Kal在2014年提出的模型，针对句子本身提取出四种粒度的特征表示：词 ...
分类：
Web程序 时间：
2018-05-26 22:17:18
阅读次数：
531
本章介绍循环神经网络（Recurrent Neural Networks）的一些基本概念，面临的主要问题和解决方案（LSTM、GRU cells），以及如何使用TensorFlow实现RNN。最后窥探了机器翻译系统的架构。由于本章过长，分为两个部分，这是第二部分。 ...
分类：
Web程序 时间：
2018-05-26 18:51:56
阅读次数：
301
模型结构与原理 1. 基于CNN的句子建模 这篇论文主要针对的是句子匹配(Sentence Matching)的问题，但是基础问题仍然是句子建模。首先，文中提出了一种基于CNN的句子建模网络，如下图： 图中灰色的部分表示对于长度较短的句子，其后面不足的部分填充的全是0值(Zero Padding)。 ...
分类：
Web程序 时间：
2018-05-26 18:46:30
阅读次数：
304
文本分类任务中可以利用CNN来提取句子中类似 n-gram 的关键信息。 TextCNN的详细过程原理图见下： keras 代码： 说明如下： 输入层 如图所示，，假设句子有 n 个词，vector的维数为 k ，那么这个矩阵就是 n×k 的。 这个矩阵的类型可以是静态的(static)，也可以是动 ...
分类：
Web程序 时间：
2018-05-26 16:44:54
阅读次数：
331
Kalchbrenner’s Paper Kal的这篇文章引用次数较高，他提出了一种名为DCNN(Dynamic Convolutional Neural Network)的网络模型，在上一篇（Kim’s Paper）中的实验结果部分也验证了这种模型的有效性。这个模型的精妙之处在于Pooling的方 ...
分类：
Web程序 时间：
2018-05-26 16:37:58
阅读次数：
241
Recurrent Neural Network是在单个神经元上，除了输入与输出外，添加了一条Recurrent回路。如下图左侧，将前一时刻神经元的输出状态s，作为下一时刻的一个输入值，加权并入输入U中。这一操作使得，某一时刻神经元的输出状态s，依赖于之前各个时刻的状态st-1,st-2,...,s ...
分类：
Web程序 时间：
2018-05-26 10:42:24
阅读次数：
160
1，参考谷歌Inception结构设计思想，可做到如下：（参考深度学习方法（十一）：卷积神经网络结构变化——Google Inception V1-V4，Xception（depthwise convolution） https://blog.csdn.net/xbinworld/article/d ...
分类：
其他好文 时间：
2018-05-25 13:52:49
阅读次数：
256
