在word2vec原理篇中，我们对word2vec的两种模型CBOW和Skip-Gram，以及两种解法Hierarchical Softmax和Negative Sampling做了总结。这里我们就从实践的角度，使用gensim来学习word2vec。 1. gensim安装与概述 gensim是一 ...
分类：
其他好文 时间：
2017-08-03 15:03:39
阅读次数：
2399
'''input: words - the original word list n_words - the number of used words output: data - a list with the same length of input words every element in ...
分类：
其他好文 时间：
2017-07-30 13:57:18
阅读次数：
228
卷积神经网络发展趋势。Perceptron(感知机)，1957年，Frank Resenblatt提出，始祖。Neocognitron(神经认知机)，多层级神经网络，日本科学家Kunihiko fukushima，20世纪80年代提出，一定程度视觉认知功能，启发卷积神经网络。LeNet-5，CNN之 ...
分类：
其他好文 时间：
2017-07-30 11:40:52
阅读次数：
233
架构：skip-gram（慢、对罕见字有利）vs CBOW（快） · 训练算法：分层softmax（对罕见字有利）vs 负采样（对常见词和低纬向量有利） · 欠采样频繁词：可以提高结果的准确性和速度（适用范围1e-3到1e-5） · 文本（window）大小：skip-gram通常在10附近，CBO ...
分类：
其他好文 时间：
2017-07-15 18:57:21
阅读次数：
150
一、介绍 word2vec是Google于2013年推出的开源的获取词向量word2vec的工具包。它包括了一组用于word embedding的模型，这些模型通常都是用浅层（两层）神经网络训练词向量。 Word2vec的模型以大规模语料库作为输入，然后生成一个向量空间（通常为几百维）。词典中的每个 ...
分类：
其他好文 时间：
2017-07-15 11:23:25
阅读次数：
2472
文本分类单层网络就够了。非线性的问题用多层的。 fasttext有一个有监督的模式，但是模型等同于cbow，只是target变成了label而不是word。 fastText有两个可说的地方:1 在word2vec的基础上, 把Ngrams也当做词训练word2vec模型, 最终每个词的vector ...
分类：
其他好文 时间：
2017-07-14 00:40:42
阅读次数：
11624
word2vec 中的数学原理详解 word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包，它简单、高效，因此引起了很多人的关注。由于 word2vec 的作者 Tomas Mikolov 在两篇相关的论文 [3,4] 中并没有谈及太多算法细节， ...
分类：
其他好文 时间：
2017-07-14 00:34:20
阅读次数：
195
一、情感分类方面 为了提高CNN情感分类的准确率，对CNN模型的输入层进行改进，加入word2vec。 各个方案基于这样的前提： a. 经过上个星期调试，当KERNEL_NUM=200, KERNEL_SIZES=[3, 4, 5, 6, 7] 时准确率最高，所以下面所有改进都是基于此结论的基础上的 ...
分类：
其他好文 时间：
2017-07-12 01:09:54
阅读次数：
232
word2vec 是 Google 于 2013 年开源推出的一个用于获取 word vector 的工具包，它简单、高效，因此引起了非常多人的关注。因为 word2vec 的作者 Tomas Mikolov 在两篇相关的论文 [3,4] 中并没有谈及太多算法细节，因而在一定程度上添加了这个工具包的 ...
分类：
其他好文 时间：
2017-07-06 17:03:01
阅读次数：
260
我们尝试基于CBOW模型，将知识库中抽取的知识融合共同训练，提出LRWE模型。模型的结构图如下：下面详细介绍该模型的思想和求解方法。1.LWE模型在Word2vec的CBOW模型中，通过上下文的词预测目标词，目标是让目标词在其给定上下文出现的概率最大，所以词向量训练的结果是与其上下..
分类：
其他好文 时间：
2017-07-05 11:36:47
阅读次数：
189
