RNN（Recurrent Neural Networks）循环神经网络 广泛应用于自然语言处理（NLP，Natural Language Processing） Back Propagation Through Time Vanishing gradient problem LSTM， 长期依赖， ...
分类：
其他好文 时间：
2019-08-16 20:49:00
阅读次数：
95
摘要 这篇文章主要总结文本中的对抗样本，包括器中的攻击方法和防御方法，比较它们的优缺点。 最后给出这个领域的挑战和发展方向。 1 介绍 对抗样本有两个核心：一是扰动足够小；二是可以成功欺骗网络。 所有DNNs-based的系统都有受到对抗攻击的潜在可能。 很多NLP任务使用了DNN模型，例如：文本分 ...
分类：
Web程序 时间：
2019-08-05 20:37:13
阅读次数：
279
1. 检索 1）（单轮回复选择）匹配模型 a. sentence 生成定长向量 进行匹配 f(g(Q), g(R)) f和g各种变种 f: MLP Neural Tensor Cosine g: CNN LSTM+Att b. query 与 candidate response 匹配 g: Int ...
分类：
其他好文 时间：
2019-06-30 20:28:38
阅读次数：
116
前面阐述注意力理论知识，后面简单描述PyTorch利用注意力实现机器翻译 Effective Approaches to Attention-based Neural Machine Translation 简介 Attention介绍 在翻译的时候，选择性的选择一些重要信息。详情看这篇文章 。 本 ...
分类：
其他好文 时间：
2019-06-21 18:40:12
阅读次数：
1825
第一部分：从RNN到LSTM 1、什么是RNN RNN全称循环神经网络（Recurrent Neural Networks），是用来处理序列数据的。在传统的神经网络模型中，从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多关于时间序列的问题却无 ...
分类：
其他好文 时间：
2019-06-15 20:42:48
阅读次数：
213
论文： Instance Normalization: The Missing Ingredient for Fast Stylization 提出背景： 在论文《Image style transfer using convolutional neural networks》中提出了风格迁移算法， ...
分类：
其他好文 时间：
2019-06-13 09:11:25
阅读次数：
176
笔者最近看了一些图与图卷积神经网络的论文，深感其强大，但一些Survey或教程默认了读者对图神经网络背景知识的了解，对未学过信号处理的读者不太友好。同时，很多教程只讲是什么，不讲为什么，也没有梳理清楚不同网络结构的区别与设计初衷(Motivation)。 因此，本文试图沿着图神经网络的历史脉络，从最 ...
分类：
其他好文 时间：
2019-06-09 13:10:31
阅读次数：
154
在 "上一篇博客" 中，我们简单介绍了基于循环图神经网络的两种重要模型，在本篇中，我们将着大量笔墨介绍 图卷积神经网络中的卷积操作 。接下来，我们将首先介绍一下图卷积神经网络的大概框架，借此说明它与基于循环的图神经网络的区别。接着，我们将从头开始为读者介绍卷积的基本概念，以及其在物理模型中的涵义。最 ...
分类：
其他好文 时间：
2019-06-09 12:42:22
阅读次数：
899
[TOC] "Proximal Algorithms" 这一节，作者总结了一些关于proximal的一些直观解释 Moreau Yosida regularization 内部卷积(infimal convolution)： $$ (f \: \Box \: g)(v)=\inf_x (f(x)+g ...
分类：
其他好文 时间：
2019-06-09 00:21:50
阅读次数：
112
