20017-2018年本书作者Christopher D. Manning 在Bytedance演讲时指出的NLP研究趋势： (1) word2vec -> GloVe词向量 (2) MT问题：SMT->NMT，biLSTM+attention (3) text_summary： first 3 s ...
分类：
编程语言 时间：
2018-11-14 19:47:11
阅读次数：
138
这个github感觉很不错，把一些比较新的实现都尝试了： https://github.com/brightmart/text_classification fastText TextCNN TextRNN RCNN Hierarchical Attention Network seq2seq wi ...
分类：
其他好文 时间：
2018-11-13 02:36:38
阅读次数：
158
前言深度学习中的Attention，源自于人脑的注意力机制，当人的大脑接受到外部信息，如视觉信息、听觉信息时，往往不会对全部信息进行处理和理解，而只会将注意力集中在部分显著或者感兴趣的信息上，这样有助于滤除不重要的信息，而提升信息处理的效率。 最早将Attention利用在图像处理上的出发点是，希望 ...
分类：
其他好文 时间：
2018-11-09 11:25:48
阅读次数：
241
Vaswani A, Shazeer N, Parmar N, et al. Attention is all you need[C]//Advances in Neural Information Processing Systems. 2017: 5998-6008. 文章提出纯粹基于atten ...
分类：
其他好文 时间：
2018-11-06 13:36:13
阅读次数：
343
"1. 语言模型" "2. Attention Is All You Need（Transformer）原理小结" "3. ELMo解析" "4. OpenAI GPT解析" "5. BERT解析" 1. 前言 在本文之前我们已经介绍了ELMo和GPT的两个成功的模型，今天给大家介绍google新发 ...
分类：
其他好文 时间：
2018-11-03 02:10:00
阅读次数：
310
诗Poem 要求：背诵这首诗，翻译现代文，根据现代文用简单的英文翻译。 动词直观体会 |动词|动词|动词|动词|动词| | | | | | | | sell卖 | buy买 | beat击打 | look看 | dance跳舞 | | sing唱歌 | speak说 | ride骑 | ask问 | ...
分类：
其他好文 时间：
2018-10-29 20:03:32
阅读次数：
176
什么是Attention机制 Attention机制通俗的讲就是把注意力集中放在重要的点上，而忽略其他不重要的因素。其中重要程度的判断取决于应用场景，拿个现实生活中的例子，比如1000个人眼中有1000个哈姆雷特。根据应用场景的不同，Attention分为空间注意力和时间注意力，前者用于图像处理，后 ...
分类：
其他好文 时间：
2018-10-27 13:27:19
阅读次数：
254
摘自https://mp.weixin.qq.com/s?__biz=MzIwMTc4ODE0Mw==&mid=2247486960&idx=1&sn=1b4b9d7ec7a9f40fa8a9df6b6f53bbfb&chksm=96e9d270a19e5b668875392da1d1aaa28ff ...
分类：
其他好文 时间：
2018-10-25 16:26:57
阅读次数：
117
1.seq2seq：分为encoder和decoder a.在decoder中，第一时刻输入的是上encoder最后一时刻的状态，如果用了双向的rnn，那么一般使用逆序的最后一个时刻的输出（网上说实验结果比较好） b.每一时刻都有一个输出，即：[batch_size, decoder_output_ ...
分类：
其他好文 时间：
2018-10-22 01:20:10
阅读次数：
193
1. 前言 谷歌在2017年发表了一篇论文名字教Attention Is All You Need， 提出了一个只基于attention的结构来处理序列模型 相关的问题，比如机器翻译。传统的神经机器翻译大都是利用RNN或者CNN来作为encoder decoder的模型基础，而谷歌最新的只基于Att ...
分类：
其他好文 时间：
2018-10-19 02:12:50
阅读次数：
198
