1.现状 (1) 模型层数加深 (2) 模型参数量变大 (3) 难以训练 (4) 难以fine-tune 2. 单层参数量和占用内存分析 层参数设置参数量与占用内存 1 layer 0.5Billion 0.5Billion * 4Byte = 2GB embedding layer 64K tok ...
分类：
其他好文 时间：
2020-07-02 00:27:27
阅读次数：
75
1.数据类型 如何表示string? One-hot [0,1,0,0,...] Embedding Word2vec，glove 类型推断 1 #type check 2 a=torch.randn(2,3) 3 print(a.type()) #torch.FloatTensor 4 print ...
分类：
其他好文 时间：
2020-06-30 22:34:26
阅读次数：
68
1.word2vec词向量原理解析 word2vec，即词向量，就是一个词用一个向量来表示。是2013年Google提出的。word2vec工具主要包含两个模型：跳字模型（skip-gram）和连续词袋模型（continuous bag of words，简称CBOW），以及两种高效训练的方法：负采 ...
分类：
编程语言 时间：
2020-06-28 15:07:37
阅读次数：
81
参考资料：1911.05722和2003.04297——Kaiming大神最近很火的两篇成果。 BERT在自然语言里如火如荼，图像领域也开始尝试大规模自监督预训练了。但是相比自然语言处理，图像是连续的值，Embedding不是简单的look up的过程，而是待训练的encoder。而训练自监督的时候 ...
分类：
其他好文 时间：
2020-06-20 21:06:25
阅读次数：
139
跨语言BERT目前还处在大力出奇迹的状态。 首先mBERT发现BERT训练在多语言语料的时候，可以用一种语言微调，测试在另一种语言上。 此后XLM就改进了一下，加入了language embedding。 然后后来发现并没有什么用，还不如增大训练规模来得厉害，于是有了XLM-R，基本上是目前的SOT ...
分类：
编程语言 时间：
2020-06-20 01:24:34
阅读次数：
92
目录 fastText概述 基础知识 LDA主题模型 总结 一句话简述：fastText提出了子词嵌入(subword embedding)的方法。是一种监督学习方法。和word2vec 中的CBOW结构很相似。运行速度较快。 一、fastText概述 1.1 背景 在word2vec中，我们并没有... ...
分类：
编程语言 时间：
2020-06-16 20:14:28
阅读次数：
76
A strategy to quantify embedding layer Basic idea Embedding is mainly in the process of word pre-training. Two embedding methods, word2vec and GloVe, ...
分类：
其他好文 时间：
2020-06-11 10:42:26
阅读次数：
78
零、背景简介 Word Embedding可有效表示不同词间的语义相似度（通常用欧式或余弦距离计算），使用BOW(Bag of words)或TF-IDF也能有效表示文档内不同关键词间的距离，但是上述2种方法在表示不同文档间的语义相似性时就显得不那么好用了。因此作者提出基于Word Embeddin ...
分类：
其他好文 时间：
2020-06-08 00:48:54
阅读次数：
59
论文介绍的WMD（Word Mover's Distance）是一个基于词嵌入（word embedding）计算两个文本的距离。 本文跳过词嵌入的介绍，直接进入WMD的实现过程。 词的相似性 假设我们有一个包含$n$个词的词典库，用word2vec训练好的这$n$个词的矩阵为： $$X \in R ...
分类：
其他好文 时间：
2020-06-05 19:29:41
阅读次数：
69
输入和输出均为张量，它们都可以用来定义一个模型（Model），这样的模型同 Keras 的 Sequential 模型一样，都可以被训练。 1.建立Model from keras.layers import Input,Dense，TimeDistributed,Embedding,LSTM,co ...
