what is graph embedding. embedding 在数学上是一个映射函数: f: X >Y, 一个空间点到另一个空间的映射,通常为高维到低维的映射. 而计算机和神经网络善于处理低纬度信息. statistical language model: 统计语言模型 是用来计算一个句子的 ...
分类：
其他好文 时间：
2019-10-15 18:54:20
阅读次数：
83
1.Contextualized Word Embedding 同样的单词有不同的意思，比如下面的几个句子，同样有 “bank” ，却有着不同的意思。但是用训练出来的 Word2Vec 得到 “bank” 的向量会是一样的。向量一样说明 “word” 的意思是一样的，事实上并不是如此。这是 Word ...
分类：
其他好文 时间：
2019-10-01 20:24:58
阅读次数：
121
word2vec
负采样
目标函数
反向梯度
层次softmax
NPLM的目标函数和反向梯度
目标函数
反向梯度
GNN(图神经网络)
deepwalk
node2vec
附录 ...
分类：
其他好文 时间：
2019-09-28 10:32:30
阅读次数：
132
在word2vec出现之前，自然语言处理经常把字词转为one-hot编码类型的词向量，这种方式虽然非常简单易懂，但是数据稀疏性非常高，维度很多，很容易造成维度灾难，尤其是在深度学习中；其次这种词向量中任意两个词之间都是孤立的，存在语义鸿沟（这样就不能体现词与词之间的关系）而有Hinton大神提出的D ...
分类：
其他好文 时间：
2019-09-16 09:45:20
阅读次数：
167
本文介绍常见的文本表示模型，One-hot、词袋模型（BOW）、TF-IDF、N-Gram和Word2Vec 一、离散表示 1、One-hot编码 One-hot编码是非常用的方法，我们可以用One-hot编码的方式将句子向量化，大致步骤为： 用构造文本分词后的字典 对词语进行One-hot编码 J ...
分类：
其他好文 时间：
2019-09-05 22:57:26
阅读次数：
1878
"深入理解wmd算法" WMD（Word Mover’s Distance） "1" 是2015年提出的一种衡量文本相似度的方法。它具有以下几个优点： 效果出色：充分利用了 "word2vec" 的领域迁移能力 无监督：不依赖标注数据，没有冷启动问题 模型简单：仅需要词向量的结果作为输入，没有任何超 ...
分类：
编程语言 时间：
2019-08-31 21:26:54
阅读次数：
148
from gensim.models import Word2Vec Word2Vec(self, sentences=None, size=100, alpha=0.025, window=5, min_count=5, max_vocab_size=None, sample=1e-3, seed... ...
分类：
其他好文 时间：
2019-08-30 13:56:44
阅读次数：
70
代码所需数据集在 https://github.com/NELSONZHAO/zhihu/tree/master/machine_translation_seq2seq 下载。 tqdm是为了加载进度条使用。 训练代码 预测代码 可输入任意句子 ...
分类：
其他好文 时间：
2019-08-27 19:22:43
阅读次数：
76
当前文本向量化主流的方式是word2vec词向量技术，从基于统计的方法，到基于神经网络的方法，掌握word2vec词向量技术是学习文本向量化的最好的方式 下面是Tomas MIkolov的三篇有关word embedding的文章： 1、Efficient Estimation of Word Re ...
分类：
其他好文 时间：
2019-08-24 23:16:59
阅读次数：
175
基于word2vec的文档向量模型的应用 word2vec的原理以及训练过程具体细节就不介绍了，推荐两篇文档：《word2vec parameter learning explained》、和《word2vec中的数学》。 在《word2vec中的数学》中谈到了训练语言模型的一些方法：比如n gra ...
分类：
其他好文 时间：
2019-08-23 22:37:38
阅读次数：
154
