转自：https://mp.weixin.qq.com/s/EMCZHuvk5dOV_Rz00GkJMA 【文末有彩蛋！】推荐阅读时间：8min~13min主要内容：简介明了的讲解一些Attention Model的套路和理论 作者：YBB单位：清华大学研究生1Attention 的本质attent ...
分类：
其他好文 时间：
2020-05-25 15:15:43
阅读次数：
138
导论 自然语言处理，NLP，接下来的几篇博客将从四方面来展开： 自然语言处理，NLP，接下来的几篇博客将从四方面来展开： （一）基本概念和基础知识 （二）Embedding （三）Text classification （四）Language Models （五）Seq2seq/Attention ...
分类：
其他好文 时间：
2020-05-13 16:57:32
阅读次数：
60
NLP 中的Mask全解 Mask 在NLP中是一个很常规的操作，也有多种应用的场景和形式，下面尝试从以下几个方面去全（用了夸张的修辞手法）解Mask，并尽可能地辅以图片说明和代码解释： Mask的作用： 处理非定长序列 RNN中的Mask Attention中Mask 防止标签泄露 Transfo ...
分类：
其他好文 时间：
2020-05-12 13:30:02
阅读次数：
473
在2017年之前，语言模型都是通过RNN，LSTM来建模，这样虽然可以学习上下文之间的关系，但是无法并行化，给模型的训练和推理带来了困难，因此有人提出了一种完全基于attention来对语言建模的模型，叫做transformer。transformer摆脱了NLP任务对于RNN，LSTM的依赖，使用 ...
分类：
其他好文 时间：
2020-05-06 19:36:59
阅读次数：
53
Pyramid Attention Networks for Image Restoration 2020-05-01 18:50:17 Paper: https://arxiv.org/pdf/2004.13824.pdf Code: https://github.com/SHI-Labs/Pyr ...
分类：
Web程序 时间：
2020-05-01 20:46:15
阅读次数：
96
AutoInt：基于Multi-Head Self-Attention构造高阶特征 本文介绍 2018年 发布在 arXiv 上文章《AutoInt: Automatic Feature Interaction Learning via Self-Attentive Neural Networks》 ...
分类：
其他好文 时间：
2020-04-29 11:12:43
阅读次数：
113
徐利峰： 昨天的bug今天已经完成，原因是布局的问题，导致评论数据部分没有显示出来。解决的办法是：用滑动布局将照片和评论数据包裹起来，之后设置总体的布局与底部评论栏间隔开。这样就不会使评论框挡住评论的数据。 今天的完成：实现收藏，点赞，关注功能。 遇到的困难有，在使用handler+Thread，子 ...
分类：
其他好文 时间：
2020-04-28 15:11:25
阅读次数：
57
seq2seq 是RNN的变种，也叫 Encoder-Decoder 模型。它的输入是一个序列，输出也是一个序列，常用于翻译等场景。 利用两个 RNN，Encoder 负责将输入序列压缩成指定长度的上下文向量c，Decoder 则负责根据上下文向量c生成指定的序列。 上下文向量c也可以参与序列所有时 ...
分类：
其他好文 时间：
2020-04-28 13:00:54
阅读次数：
50
论文地址： "https://arxiv.org/abs/1911.04474" Abstract BiLSTMs结构在NLP的任务中广泛应用，最近，全连接模型Transformer大火，它的 self attention 机制和强大的并行计算能力使其在众多模型中脱颖而出，但是，原始版本的 Tran ...
分类：
Web程序 时间：
2020-04-27 22:43:45
阅读次数：
154
动手实现Transformer，所有代码基于tensorflow2.0，配合 "illustrated transformer" 更香。 模型架构 Encoder+Decoder Encoder Decoder Attention Add&Norm FeedForward Embedding Pos ...
分类：
其他好文 时间：
2020-04-18 18:49:41
阅读次数：
85
