参考链接： 史上最小白之Transformer详解_Tink1995的博客-CSDN博客_transformer 从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史 - 知乎 史上最小白之Bert详解_Tink1995的博客-CSDN博客 BERT之后的模型有哪些？ - ...
分类：
其他好文 时间：
2020-12-17 12:38:47
阅读次数：
2
机器学习算法与自然语言处理出品@公众号原创专栏作者刘聪NLP学校|NLP算法工程师知乎专栏|自然语言处理相关论文短文本相似度，即求解两个短文本之间的相似程度；它是文本匹配任务或文本蕴含任务的一种特殊形式，返回文本之间相似程度的具体数值。然而在工业界中，短文本相似度计算占有举足轻重的地位。例如：在问答系统任务（问答机器人）中，我们往往会人为地配置一些常用并且描述清晰的问题及其对应的回答，我们将这些配
分类：
编程语言 时间：
2020-11-25 12:58:27
阅读次数：
18
直播回顾|第四范式姚权铭：搜索协同过滤中的交互函数 第四范式天枢 2020-02-19 17:50:17 分类专栏： 个性化推荐 文章标签： 机器学习 神经网络 深度学习 数据挖掘 版权 导读：怎样刻画用户嵌入向量(user embedding)和物品嵌入向量(item embedding)之间的交 ...
分类：
其他好文 时间：
2020-09-18 03:14:22
阅读次数：
33
Contextualized Word Embedding# 同样的单词有不同的意思，比如下面的几个句子，同样有 “bank” ，却有着不同的意思。但是用训练出来的 Word2Vec 得到 “bank” 的向量会是一样的。向量一样说明 “word” 的意思是一样的，事实上并不是如此。这是 Word2 ...
分类：
其他好文 时间：
2020-08-06 23:15:45
阅读次数：
81
前言 在上一篇blog里，ATP分析了TransCoder模型最顶层的main函数，理清了它的训练过程是怎么循环的。 这次ATP本来想要看一下它的模型具体是什么样子的。但ATP发现，pretrain过程（只有encoder）和后续的过程（同时有encoder和decoder）它模型的结构与训练过程还 ...
分类：
其他好文 时间：
2020-08-04 14:08:20
阅读次数：
107
self-attetion 1. 输入 \[ X = EmbeddingLookup(X) + PositionalEncoding \\ X.shape == (batch\_size, seq\_len, embedding\_dim) \] 2. 计算Q，K，V \[ Q = Linear(X ...
分类：
其他好文 时间：
2020-07-30 01:46:15
阅读次数：
87
1.word Embedding的概念理解 首先，我们先理解一下什么是Embedding。Word Embedding翻译过来的意思就是词嵌入，通俗来讲就是将文字转换为一串数字。因为数字是计算机更容易识别的一种表达形式。我们词嵌入的过程，就相当于是我们在给计算机制造出一本字典的过程。计算机可以通过这 ...
分类：
其他好文 时间：
2020-07-26 00:59:25
阅读次数：
94
目录 大纲概述 数据集合 数据处理 预训练word2vec模型 一、大纲概述 文本分类这个系列将会有8篇左右文章，从github直接下载代码，从百度云下载训练数据，在pycharm上导入即可使用，包括基于word2vec预训练的文本分类，与及基于近几年的预训练模型（ELMo，BERT等）的文本分类。... ...
分类：
其他好文 时间：
2020-07-22 23:29:32
阅读次数：
73
Linear Methods Nonlinear Methods Lower-dimensional linear projection preserves local information only ISOMAP 2000 LLE (Locally Linear Embedding) 2000 ...
分类：
其他好文 时间：
2020-07-11 11:18:21
阅读次数：
141
零、背景介绍 Evaluation methods for unsupervised word embeddings介绍无监督学习场景下的词向量评估方法。词嵌入Embedding 的评估方法主要分两个方向，内在评估和外在评估。 外在评估是以Embedding 向量作为下游任务的特征输入，并从任务的具 ...
分类：
其他好文 时间：
2020-07-06 00:55:35
阅读次数：
90
