Unsupervised NMT 概述 神经机器翻译系统取得了很好的翻译水平，但非常依赖于平行语料。目前已经有利用大量单语数据训练模型的研究，这其中包括： 仅仅由两份单语语料（不平行）训练出双语词典。这个的核心是学习一个旋转矩阵 W ，使得两份语料的词向量空间对齐，再进行一些调整更好的对齐两词向量空 ...
分类：
系统相关 时间：
2018-10-17 00:16:29
阅读次数：
1120
论文地址： "Attention is you need" 序列编码 深度学习做NLP的方法，基本都是先将句子分词，然后每个词转化为对应的的词向量序列，每个句子都对应的是一个矩阵$X=(x_1,x_2,...,x_t)$，其中$x_i$都代表着第$i$个词向量，维度为d维，故$x\in R^{n×d ...
分类：
其他好文 时间：
2018-10-14 23:11:43
阅读次数：
474
"这篇论文" 提出了 SIF sentence embedding 方法, 作者提供的代码在 "Github" . 引入 作为一种 无监督 计算句子之间相似度的方法, sif sentence embedding 使用预训练好的词向量, 使用加权平均的方法, 对句子中所有词对应的词向量进行计算, 得 ...
分类：
其他好文 时间：
2018-10-14 23:10:07
阅读次数：
489
深度学习做NLP的方法，基本上都是先将句子分词，然后每个词转化为对应的词向量序列。(https://kexue.fm/archives/4765) 第一个思路是RNN层，递归进行，但是RNN无法很好地学习到全局的结构信息，因为它本质是一个马尔科夫决策过程。 第二个思路是CNN层，其实CNN的方案也是 ...
分类：
其他好文 时间：
2018-10-14 00:34:17
阅读次数：
694
Word translation without parallel data ...
分类：
系统相关 时间：
2018-10-11 12:18:34
阅读次数：
386
1.训练词向量代码如下：#训练词语为向量表示def w2v_train(self): ques = self.cu.execute('select question from activity')#将所有问题内容作为预料训练一个w2v模型 da_all = [] for d in ques: da_ ...
分类：
其他好文 时间：
2018-10-10 21:52:36
阅读次数：
177
先来看一看结果，发现：1.贾宝玉和袭人的关系最近。2.薛宝钗和自己的妈妈关系最近。3.贾宝玉和林黛玉逼格比较统一，薛宝钗属于独树一帜的逼格调性。4.大观园中可以看到邢岫烟经常出没... 还有更多秘密等你自己上手去训练模型并发现... ...
分类：
其他好文 时间：
2018-10-04 11:39:08
阅读次数：
196
一、W2V的两种模型：CBOW和Skip-gram W2V有两种模型，分别为CBOW和skip-gram，CBOW是根据上下文$context(w)$来预测中间词$w$，而skip-gram是根据中间词$w$来预测上下文$context(w)$；他们都有3层结构——输入层，投影层，输出层。（注：无隐 ...
分类：
其他好文 时间：
2018-10-04 00:06:27
阅读次数：
334
一、旧版本的神经网络表示词向量 将每个词表示成$m$维的向量，用$v(w)$表示，整个网络分为4层，分别为输入层，投影层，隐藏层，输出层。 输入层：取一个大小为n的窗口表示输入，用1~(n-1)个词来预测第n个词的生成概率。 投影层：将每个词映射为m维向量，将这些词向量拼接为一个(n-1)m的长向量 ...
分类：
其他好文 时间：
2018-10-03 20:32:57
阅读次数：
212
词向量作为文本的基本结构——词的模型，以其优越的性能，受到自然语言处理领域研究人员的青睐。良好的词向量可以达到语义相近的词在词向量空间里聚集在一起，这对后续的文本分类，文本聚类等等操作提供了便利，本文将详细介绍如何使用word2vec构建中文词向量。 一、中文语料库 本文采用的是搜狗实验室的搜狗新闻 ...
分类：
其他好文 时间：
2018-09-23 16:22:44
阅读次数：
338
