文档：12、Attention Is All You Need.note链接：http://note.youdao.com/noteshare?id=2e93219b74c92d225bee97d88c7c61bd&sub=2A659EFD263C4FC7A1C14EFD156734BB 文档：13 ...
分类：
其他好文 时间：
2019-10-14 21:07:25
阅读次数：
148
"传送门" C Attention 前后缀搞一搞即可。 Code D Xor Sum 2 题意： 给出一个长度为$n$的序列$a$，现在问有多少区间$[l,r]$，满足： $$ a_l\ xor\ a_{l+1}\ xor \cdots \ xor\ x_r=a_l+a_{l+1}+\cdots+a ...
分类：
其他好文 时间：
2019-10-11 20:31:12
阅读次数：
104
实现细节; 1.embedding 层 2.positional encoding层:添加位置信息 3,MultiHeadAttention层:encoder的self attention 4,sublayerConnection层：add&norm，使用layerNorm， 5,FeedForwa ...
分类：
其他好文 时间：
2019-10-10 18:39:46
阅读次数：
730
The Illustrated Attention Attention Seq2Seq 是一种由Encoder和Decoder组成的结构，可以将输入转化成一种中间形态并在Decoder输出； 而Attention则是解决方案，经典的是 "Bahdanau et al., 2014" and "Luo ...
分类：
其他好文 时间：
2019-10-04 22:43:33
阅读次数：
116
1.Self-Attention 之前的RNN输入是难以并行化的，我们下一个输入可能依赖前一个输出，只有知道了前面的输出才能计算后面的输出。 于是提出了 self-attention ，但是这时候 $b^{i}$ 能够并行化计算 论文地址：https://arxiv.org/pdf/1706.037 ...
分类：
其他好文 时间：
2019-10-01 18:56:51
阅读次数：
114
1.Sequence Generation 1.1.引入 在循环神经网络（RNN）入门详细介绍一文中，我们简单介绍了Seq2Seq，我们在这里展开一下 一个句子是由 characters（字） 或 words（词） 组成的，中文的词可能是由数个字构成的。 如果要用训练RNN写句子的话，以 chara ...
分类：
其他好文 时间：
2019-09-27 23:02:19
阅读次数：
148
编写一段程序实现如果输入的一组数中含非整数数字，输出数字相加的和以及"attention"字符，如果全部是数字便输出数字的和。 程序1： 程序2： ...
分类：
编程语言 时间：
2019-09-27 21:11:22
阅读次数：
79
Attention Is All You Need Transformer 模型整体架构 Multi-head attention Self-Attention Self-Attention工作原理 Self-Attention算法细节 Step1 Step2 Step3&4 Step5 Step6 ...
分类：
其他好文 时间：
2019-09-24 17:47:39
阅读次数：
75
Neural Architecture Search — Limitations and Extensions 2019-09-16 07:46:09 This blog is from: https://towardsdatascience.com/neural-architecture-sear ...
分类：
其他好文 时间：
2019-09-16 09:21:03
阅读次数：
84
Solution 一道神仙暴力剪枝题，思路是在9*9的数独之上，再多添加3个剪枝 1.判断每个空格中，如果一个字母都填不了就返回，如果只能填一个，就填上并继续搜索 2.对于每个字母，在每行\列\16宫格中判断能填的位置，如果没有就返回，如果只有一个就填上，并继续搜索 3.在上述剪枝完成后，再用位运算 ...
分类：
其他好文 时间：
2019-09-15 21:14:51
阅读次数：
130
