场景：上次回答word2vec相关的问题，回答的是先验概率和后验概率，没有回答到关键点。 词袋模型（Bag of Words, BOW）与词向量（Word Embedding）模型 词袋模型就是将句子分词，然后对每个词进行编码，常见的有one hot、TF IDF、Huffman编码，假设词与词之间 ...
分类：
其他好文 时间：
2018-05-21 00:01:36
阅读次数：
807
对文本分词后，接下来需要对分词后的每个term计算一个权重，重要的term应该给与更高的权重。举例来说，“什么产品对减肥帮助最大？”的term weighting结果可能是: “什么 0.1，产品 0.5，对 0.1，减肥 0.8，帮助 0.3，最大 0.2”。Term weighting在文本检索 ...
分类：
其他好文 时间：
2018-05-18 15:43:36
阅读次数：
137
摘自：http://www.cnblogs.com/pinard/p/7160330.html 先看下列三篇，再理解此篇会更容易些（个人意见） skip-gram，CBOW，Word2Vec 词向量基础 CBOW与Skip-Gram用于神经网络语言模型 CBOW与Skip-Gram用于神经网络语言模 ...
分类：
其他好文 时间：
2018-05-15 12:19:30
阅读次数：
601
一、模型输入输出 输入是2组词向量，中心词向量W和上下文词向量W波浪线，输出是Xij的对数值 二、模型设计思想 1.W和W波浪线实际上应该是平等的，因为1个词在某些样本中是中心词，而在别的样本中是上下文词，都是同一个词 2.i,j,k3个词的词向量，应该能决定这个ratio，因为ratio是有意义的 ...
分类：
其他好文 时间：
2018-05-12 20:29:25
阅读次数：
547
git: https://github.com/linyi0604/MachineLearning ...
分类：
编程语言 时间：
2018-05-08 12:15:39
阅读次数：
504
详细介绍链接在此 skip-gram模型的简单介绍 skip-gram模型简单来讲就是在一大段话中，我们给定其中一个词语，希望预测它周围的词语，将词向量作为参数，通过这种方式来训练词向量，最后能够得到满足要求的词向量。而一般来讲，skip-gram模型都是比较简单的线性模型。 我们先假定有10000 ...
分类：
其他好文 时间：
2018-05-01 23:40:38
阅读次数：
186
在处理数据的时候偶尔会遇到特征维如下情况： 可以将other维中的以分号分隔的词转化为词向量的形式： 最终得到结果： ...
分类：
其他好文 时间：
2018-04-28 19:34:13
阅读次数：
155
基本思想 通过捕获词与词之间的关系来表征词。 1.基于知识的表征 如WordNet（图1），包含同义词集和上位词集（is a关系）。 存在的问题： ...
分类：
其他好文 时间：
2018-04-14 10:13:02
阅读次数：
163
