一、模型输入输出 输入是2组词向量，中心词向量W和上下文词向量W波浪线，输出是Xij的对数值 二、模型设计思想 1.W和W波浪线实际上应该是平等的，因为1个词在某些样本中是中心词，而在别的样本中是上下文词，都是同一个词 2.i,j,k3个词的词向量，应该能决定这个ratio，因为ratio是有意义的 ...
分类：
其他好文 时间：
2018-05-12 20:29:25
阅读次数：
547
一、模型 随机负采样方法，是后来对word2vec输出层做的一种改进，舍弃复杂的层次分类和huffman树 在已知词w上下文的情况下，对应的输出正样本就是w，负样本就是剩下的所有词，非常多，所以我们用某种方法，采样很小的部分，集合为NEG（w）。每个词u都有自己的辅助参数θ 我们希望最大化的函数为， ...
分类：
其他好文 时间：
2018-05-12 14:21:24
阅读次数：
144
一、输出层结构 注意到，huffman树的每一层，都有参数和激活函数sigmoid存在，实际上是一个神经网络。影响该节点的二分类走向。这和一般的多分类问题中，各种分类是同处于平等的最后一层，是不同的。 二、模型推导 我们重点关注输出层huffman树过程的模型推导。对于每个走到huffman树根节点 ...
分类：
其他好文 时间：
2018-05-12 13:16:36
阅读次数：
166
一、目的 词频越高的词，希望编码长度越短。 在huffman树中，叶子节点是各个词，叶子节点的权重是词频。每个词都有权重×距离根节点的长度，即词频*编码长度。Huffman树保证了上述所有词的上述乘积的和是最小的，即该编码方式的总代价是最小的。 二、huffman树的构造算法：这里略去，总之有确定的 ...
分类：
其他好文 时间：
2018-05-11 13:48:54
阅读次数：
195
git: https://github.com/linyi0604/MachineLearning ...
分类：
编程语言 时间：
2018-05-08 12:15:39
阅读次数：
504
https://blog.csdn.net/thinking_boy1992/article/details/53321827 https://www.jianshu.com/p/b2da4d94a122 https://zhuanlan.zhihu.com/p/22477976 一、概述 本文主要 ...
分类：
其他好文 时间：
2018-05-07 14:49:17
阅读次数：
184
详细介绍链接在此 skip-gram模型的简单介绍 skip-gram模型简单来讲就是在一大段话中，我们给定其中一个词语，希望预测它周围的词语，将词向量作为参数，通过这种方式来训练词向量，最后能够得到满足要求的词向量。而一般来讲，skip-gram模型都是比较简单的线性模型。 我们先假定有10000 ...
分类：
其他好文 时间：
2018-05-01 23:40:38
阅读次数：
186
真正掌握一种算法，最实际的方法，完全手写出来。 LSTM（Long Short Tem Memory）特殊递归神经网络，神经元保存历史记忆，解决自然语言处理统计方法只能考虑最近n个词语而忽略更久前词语的问题。用途：word representation（embedding）(词语向量)、sequen ...
分类：
其他好文 时间：
2018-05-01 15:27:29
阅读次数：
318
Tutorial on word2vector Project page: https://radimrehurek.com/gensim/models/word2vec.html 1. install gensim: https://radimrehurek.com/gensim/install. ...
分类：
其他好文 时间：
2018-04-28 19:35:31
阅读次数：
338
在处理数据的时候偶尔会遇到特征维如下情况： 可以将other维中的以分号分隔的词转化为词向量的形式： 最终得到结果： ...
分类：
其他好文 时间：
2018-04-28 19:34:13
阅读次数：
155
