20017-2018年本书作者Christopher D. Manning 在Bytedance演讲时指出的NLP研究趋势: (1) word2vec -> GloVe词向量 (2) MT问题:SMT->NMT,biLSTM+attention (3) text_summary: first 3 s ...
分类:
编程语言 时间:
2018-11-14 19:47:11
阅读次数:
138
这个github感觉很不错,把一些比较新的实现都尝试了: https://github.com/brightmart/text_classification fastText TextCNN TextRNN RCNN Hierarchical Attention Network seq2seq wi ...
分类:
其他好文 时间:
2018-11-13 02:36:38
阅读次数:
158
前言深度学习中的Attention,源自于人脑的注意力机制,当人的大脑接受到外部信息,如视觉信息、听觉信息时,往往不会对全部信息进行处理和理解,而只会将注意力集中在部分显著或者感兴趣的信息上,这样有助于滤除不重要的信息,而提升信息处理的效率。 最早将Attention利用在图像处理上的出发点是,希望 ...
分类:
其他好文 时间:
2018-11-09 11:25:48
阅读次数:
241
Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Advances in Neural Information Processing Systems. 2017: 5998-6008. 文章提出纯粹基于atten ...
分类:
其他好文 时间:
2018-11-06 13:36:13
阅读次数:
343
"1. 语言模型" "2. Attention Is All You Need(Transformer)原理小结" "3. ELMo解析" "4. OpenAI GPT解析" "5. BERT解析" 1. 前言 在本文之前我们已经介绍了ELMo和GPT的两个成功的模型,今天给大家介绍google新发 ...
分类:
其他好文 时间:
2018-11-03 02:10:00
阅读次数:
310
诗Poem 要求:背诵这首诗,翻译现代文,根据现代文用简单的英文翻译。 动词直观体会 |动词|动词|动词|动词|动词| | | | | | | | sell卖 | buy买 | beat击打 | look看 | dance跳舞 | | sing唱歌 | speak说 | ride骑 | ask问 | ...
分类:
其他好文 时间:
2018-10-29 20:03:32
阅读次数:
176
什么是Attention机制 Attention机制通俗的讲就是把注意力集中放在重要的点上,而忽略其他不重要的因素。其中重要程度的判断取决于应用场景,拿个现实生活中的例子,比如1000个人眼中有1000个哈姆雷特。根据应用场景的不同,Attention分为空间注意力和时间注意力,前者用于图像处理,后 ...
分类:
其他好文 时间:
2018-10-27 13:27:19
阅读次数:
254
摘自https://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247486960&idx=1&sn=1b4b9d7ec7a9f40fa8a9df6b6f53bbfb&chksm=96e9d270a19e5b668875392da1d1aaa28ff ...
分类:
其他好文 时间:
2018-10-25 16:26:57
阅读次数:
117
1.seq2seq:分为encoder和decoder a.在decoder中,第一时刻输入的是上encoder最后一时刻的状态,如果用了双向的rnn,那么一般使用逆序的最后一个时刻的输出(网上说实验结果比较好) b.每一时刻都有一个输出,即:[batch_size, decoder_output_ ...
分类:
其他好文 时间:
2018-10-22 01:20:10
阅读次数:
193
1. 前言 谷歌在2017年发表了一篇论文名字教Attention Is All You Need, 提出了一个只基于attention的结构来处理序列模型 相关的问题,比如机器翻译。传统的神经机器翻译大都是利用RNN或者CNN来作为encoder decoder的模型基础,而谷歌最新的只基于Att ...
分类:
其他好文 时间:
2018-10-19 02:12:50
阅读次数:
198