前言今天要与大家分享的是AllenAI今年发表的最新工作，Longformer——一种可高效处理长文本的升级版Transformer。作者团队提供了开源代码，大家可快速复现，直接用于自己的任务。传统Tranformer-based模型在处理长文本时有着天然的劣势。因为传统模型采用的是“全连接”型的attention机制，即每一个token都要与其他所有token进行交互。其attention复杂度
分类：
其他好文 时间：
2020-12-29 11:04:31
阅读次数：
0
“Attention，Attention，还是Attention，看了三篇顶会论文，现在CVPR、ICCV都这么好发了么，随随便便加个Attention就算了不得的创新点？”这是曾经有段时间实验室大家读paper后很统一的的槽点。你可能还在通过不断增加卷积层、池化层、全连接层以尽量让自己的网络结构“看起来”和别人的不太一样，也可能还在琢磨怎么从图像分割领域“借”点东西过来应用于图像识别领域。对于很
分类：
其他好文 时间：
2020-12-24 12:15:30
阅读次数：
0
SSD采用改造的VGG16加额外4个特征层，实现总体的特征提取，生成不同大小的feature_map 改造FC6 和FC7，采用卷积而不是全连接，生成19*19 的feature_map, 额外增加4个卷积层，生成10*10， 5*5， 3*3， 1*1 的feature_map， 其中conv4_ ...
分类：
其他好文 时间：
2020-12-19 13:10:14
阅读次数：
2
开发工具Python版本：3.6.4相关模块：numpy模块；argparse模块；pygame模块；以及一些python自带的模块。环境搭建安装Python并添加到环境变量，pip安装需要的相关模块即可。原理简介遗传算法，即：GeneticAlgorithm,GA是一种元启发式算法，其核心思想与达尔文的进化理论很相似。简单而言就是物种在进化过程中，好的基因将得到保留，不好的基因将被淘汰。经过很多
分类：
编程语言 时间：
2020-12-05 10:37:35
阅读次数：
7
配置SSL安全连接 服务端配置 服务器端需生成三个文件: root.crt(根证书)、server.crt(服务器证书)、server.key(服务器私钥) 生成服务器私钥文件 ## 此处需输入密码,并需要再次确认输入密码 openssl genrsa -des3 -out server.pem 2 ...
分类：
其他好文 时间：
2020-12-01 12:31:00
阅读次数：
8
一、全连接层用pytorch定义 二、MLP举例 三、具体代码 class MLP(nn.Module): def __init__(self): super(MLP,self).__init__() self.model = nn.Sequential( nn.Linear(784,200), n ...
分类：
其他好文 时间：
2020-11-27 10:57:01
阅读次数：
4
1*1shape的卷积在很多神经网络中都有应用（如Google InceptionNet，Resnet等），比起我们常见的2*2,3*3，5*5的卷积，这样的卷积核有什么作用呢？ 首先，1*1的卷积可以增加网络层的非线性，它的卷积过程其实相当于全连接层的计算过程，并且还加入了非线性的激活函数（rel ...
分类：
其他好文 时间：
2020-11-06 02:17:20
阅读次数：
22
传统的强化学习算法具有很强的决策能力，但难以用于高维空间任务中，需要结合深度学习的高感知能力，因此延展出深度强化学习，最经典的就是DQN(Deep Q-Learning)。 DQN 2013 DQN的主要思想是训练CNN拟合出Q-Learning算法，以此让智能体在复杂的RL环境中从原始视频数据学到 ...
分类：
其他好文 时间：
2020-11-06 01:12:42
阅读次数：
18
推荐系统遇上深度学习(九十八)-[微信]推荐系统中更好地学习用户-标签偏好 2020.11.01 21:29:24 本文介绍CIKM20上微信发表的一篇文章《Learning to Build User-tag Profile in Recommendation System》，主要介绍了微信看一看 ...
分类：
微信 时间：
2020-11-02 10:43:24
阅读次数：
49
爱生活，爱编码，微信搜一搜【架构技术专栏】关注这个喜欢分享的地方。 本文 架构技术专栏 已收录，有各种视频、资料以及技术文章。 一、问题 今天有个小伙伴跑过来告诉我有个奇怪的问题需要协助下，问题确实也很奇怪。客户端调用RT比较高并伴随着间歇性异常Connection reset出现，而服务端CPU ...
分类：
其他好文 时间：
2020-09-18 12:08:59
阅读次数：
33
