参考资料：https://radimrehurek.com/gensim/models/word2vec.html接上篇：importjiebaall_list=jieba.cut(xl[‘工作内容‘][0:6],cut_all=True)print(all_list)every_one=xl[‘工作内容‘].apply(lambdax:jieba.cut(x))importtracebackde
分类：
其他好文 时间：
2018-05-29 17:44:58
阅读次数：
404
去除标点符号，下一步开始文本相似度计算：参考文章：http://www.jb51.net/article/139690.htmfromgensim.modelsimportWord2Vecmodel=Word2Vec(sentences,sg=1,size=100,window=5,min_count=5,negative=3,sample=0.001,hs=1,workers=4)参数解释：1.
分类：
其他好文 时间：
2018-05-28 18:28:54
阅读次数：
332
背景 拓展知识图谱-人物关系模块，激发用户兴趣点击，提升流量。 要解决的问题 1、识别人名：ner 命名实体识别。 2、识别两个人是有关系的； 人名共现来说明两个人之间有关系； 词向量计算词与词之间的相似度来说明两个人之间关系。 3、人物关系挖掘。 两个人名满足某种依存模式，则将两个人名和关系抽取出 ...
分类：
其他好文 时间：
2018-05-28 11:32:37
阅读次数：
212
word2vec训练中文模型 1.准备数据与预处理 首先需要一份比较大的中文语料数据，可以考虑中文的维基百科（也可以试试搜狗的新闻语料库）。中文维基百科的打包文件地址为 https://dumps.wikimedia.org/zhwiki/latest/zhwiki-latest-pages-art ...
分类：
其他好文 时间：
2018-05-27 16:22:37
阅读次数：
181
场景：上次回答word2vec相关的问题，回答的是先验概率和后验概率，没有回答到关键点。 词袋模型（Bag of Words, BOW）与词向量（Word Embedding）模型 词袋模型就是将句子分词，然后对每个词进行编码，常见的有one hot、TF IDF、Huffman编码，假设词与词之间 ...
分类：
其他好文 时间：
2018-05-21 00:01:36
阅读次数：
807
对文本分词后，接下来需要对分词后的每个term计算一个权重，重要的term应该给与更高的权重。举例来说，“什么产品对减肥帮助最大？”的term weighting结果可能是: “什么 0.1，产品 0.5，对 0.1，减肥 0.8，帮助 0.3，最大 0.2”。Term weighting在文本检索 ...
分类：
其他好文 时间：
2018-05-18 15:43:36
阅读次数：
137
环境 Python3， gensim，jieba，numpy ，pandas 原理：文章转成向量，然后在计算两个向量的余弦值。 Gensim gensim是一个python的自然语言处理库，能够将文档根据TF IDF, LDA, LSI 等模型转化成向量模式，gensim还实现了word2vec功能 ...
分类：
其他好文 时间：
2018-05-15 20:59:30
阅读次数：
6067
摘自：http://www.cnblogs.com/pinard/p/7160330.html 先看下列三篇，再理解此篇会更容易些（个人意见） skip-gram，CBOW，Word2Vec 词向量基础 CBOW与Skip-Gram用于神经网络语言模型 CBOW与Skip-Gram用于神经网络语言模 ...
分类：
其他好文 时间：
2018-05-15 12:19:30
阅读次数：
601
代码来源于：tensorflow机器学习实战指南（曾益强 译，2017年9月）——第七章：自然语言处理 代码地址：https://github.com/nfmcclure/tensorflow-cookbook 数据：http://www.cs.cornell.edu/people/pabo/mov ...
分类：
其他好文 时间：
2018-05-14 17:33:36
阅读次数：
543
