码迷,mamicode.com
首页 > 其他好文 > 详细

NeuralAttentionModel

时间:2020-05-28 01:06:36      阅读:68      评论:0      收藏:0      [点我收藏+]

标签:word   mic   学习   简单的   ati   图片   pdf   sum   pool   

1.概述

  A Neural Attention Model for Sentence Summarization是一个用于处理文本总结的模型,是基于seq2seq提出的,论文地址https://www.aclweb.org/anthology/D15-1044.pdf

2.模型

  技术图片

 

3.模型公式

  目标:

    技术图片

 

  x和yc编码的方式共三种

  1).Bag-of-Words Encoder

    技术图片

 

    这是最简单的一种,其中F是待学习的参数

  2).Convolutional Encoder

    技术图片

 

    其中F是embeding向量,Q是滑动窗口,公式5和公式6都是maxpooling

  3).Attention-Based Encoder

    技术图片

 

    G是embeding值,Q为滑动窗口

4.损失函数

  技术图片

 

NeuralAttentionModel

标签:word   mic   学习   简单的   ati   图片   pdf   sum   pool   

原文地址:https://www.cnblogs.com/yangyang12138/p/12977533.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!