● BatchNormalization的作用 参考回答： 神经网络在训练的时候随着网络层数的加深,激活函数的输入值的整体分布逐渐往激活函数的取值区间上下限靠近,从而导致在反向传播时低层的神经网络的梯度消失。而BatchNormalization的作用是通过规范化的手段,将越来越偏的分布拉回到标准化 ...
分类：
编程语言 时间：
2019-06-03 22:12:40
阅读次数：
559
Tensorflow、Seq2Seq、Attention、聊天机器人 ...
分类：
其他好文 时间：
2019-06-03 14:29:50
阅读次数：
83
四、self-attention 1、是什么？ attention机制通常用在encode与decode之间，但是self-attention则是输入序列与输出序列相同，寻找序列内部元素的关系即 K=V=Q。l例如《Attention Is All You Need》在编码器中使用self-atte ...
分类：
其他好文 时间：
2019-06-01 23:24:41
阅读次数：
152
序言： 对于小目标图像分割任务，一副图画中往往只有一两个目标，这样会加大网络训练难度，一般有三种方法解决： 1、选择合适的loss，对网络进行合理优化，关注较小的目标。 2、改变网络结构，使用attention机制。 3、类属attention机制，即先检测目标区域，裁剪后再分割训练。 场景： 现在 ...
分类：
其他好文 时间：
2019-05-31 13:19:37
阅读次数：
844
关于《注意力模型--Attention注意力机制》的学习 此文大部分参考深度学习中的注意力机制(2017版) 张俊林的博客，不过添加了一些个人的思考与理解过程。在github上找到一份基于keras框架实现的可运行的注意模型代码：Attention_Network_With_Keras (对这个模型 ...
分类：
其他好文 时间：
2019-05-30 01:19:57
阅读次数：
153
一、Attention与其他模型 1、LSTM、RNN的缺点：输入的Memory长度不能太长，否则参数会很多。 采用attention可以输入长Memory，参数不会变多。 2、Sequence to Sequence Learning : 输入和输出的句子长度可以不一样，常用来做句子翻译。 比如： ...
分类：
其他好文 时间：
2019-05-27 00:49:46
阅读次数：
164
模型： FastText TextCNN TextRNN RCNN 分层注意网络（Hierarchical Attention Network） 具有注意的seq2seq模型（seq2seq with attention） Transformer("Attend Is All You Need") ...
分类：
其他好文 时间：
2019-05-14 13:05:21
阅读次数：
162
近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中。随着注意力机制的深入研究，各式各样的attention被研究者们提出。在2017年6月google机器翻译团队在arXiv上放出的《Attention is all you need》论文受到了大家广 ...
分类：
编程语言 时间：
2019-04-30 16:55:57
阅读次数：
1024
算法推导 $$ \text{(非零)特征集:}\chi $$ $$ \text{(非零)特征的embeding输出:}\varepsilon = \left \{ v_ix_i \right \}_{i\in \chi } $$ FM模型数学公式： $$ \widehat{y}_{FM}(X)=W_ ...
分类：
其他好文 时间：
2019-04-27 19:31:02
阅读次数：
189
Merge k sorted linked lists and return it as one sorted list. Analyze and describe its complexity. Example: Input: [ 1->4->5, 1->3->4, 2->6 ] Output: ...
分类：
编程语言 时间：
2019-04-27 12:59:20
阅读次数：
124
