1 # Author :Zcb 2 3 #中文词频统计 4 import jieba 5 import sys 6 7 f = open("d:/政府工作报告.txt",'r') 8 txt = f.read() 9 f.close() 10 11 d={} 12 ls=jieba.lcut(txt... ...
分类:
其他好文 时间:
2019-07-28 15:31:39
阅读次数:
117
import jieba from gensim import corpora # (语料库) from gensim import models # 训练模型 from gensim import similarities # 相似度处理 # 总体思路; # 1.先遍历语法库,jieba.cut( ...
分类:
其他好文 时间:
2019-07-26 19:14:44
阅读次数:
121
函数 函数用来:实现一个功能,函数理解成一个工具,遇到问题就可以把这个工具拿过来用 函数的好处: 函数比较方便,复用,可以在多个场景下用 函数定义: def 函数名 (参数) 利用调用函数求解圆的pi python lt = ["nick","handsome",1,1] print(lt) pyt ...
分类:
其他好文 时间:
2019-07-18 19:33:25
阅读次数:
187
1.停用词 stop words: 在处理自然语言数据(或文本)之前或之后会自动过滤掉某些字或词。 停用词都是人工输入、或者由一个停用词表导入。 2.jieba是目前最好的 Python 中文分词组件,它主要有以下 3 种特性: 支持 3 种分词模式: 精确模式,试图将句子最精确地切开,适合文本分析 ...
分类:
其他好文 时间:
2019-07-09 22:34:17
阅读次数:
160
第一步:先导入jieba分词包 第二步:使用jieba分词的方法 常用的有:jieba.cut()、jieba.cut_for_search()和jieba.posseg.cut() 前者是无词性分词,中间为浏览器搜索,后者是有词性分词 其中jieba.cut()中除了需要加入被拆分的字符串还可以加 ...
分类:
编程语言 时间:
2019-07-07 17:48:58
阅读次数:
158
先收集一批核心关键词作为词根 围绕词根进行挖词(百度下拉及相关) 过滤违禁词,自定义黑名单,重复词 统计扩展词与对应词根的相似度,(python备选:jieba词库)归类,相似值>=0.45的为同类词 相关且有搜索量的词,进入该行业频道的词表,生成的页面给予最大的资源支持;相关但无搜索量的,给予较小 ...
分类:
其他好文 时间:
2019-07-04 09:52:22
阅读次数:
259
1.jieba分词的安装 直接在cmd窗口当中pip install即可 2.jieba分词的介绍 jieba分词是目前比较好的中文分词组件之一,jieba分词支持三种模式的分词(精确模式、全模式、搜索引擎模式),并且支持自定义词典(这一点在特定的领域很重要,有时候需要根据领域的需要来添加特定的词典 ...
分类:
编程语言 时间:
2019-07-04 00:50:31
阅读次数:
168
隐马尔可夫模型(Hidden Markov Model,HMM)是用来描述一个含有隐含未知参数的马尔可夫过程。 本文阅读了2篇blog,理解其中的意思,附上自己的代码,共同学习。 一、理解隐马尔科夫 1.1 举例理解 来源:< http://www.cnblogs.com/skyme/p/46513 ...
分类:
其他好文 时间:
2019-06-28 17:59:55
阅读次数:
122
第一次接触这个工具,是在研一上学期的一门课里。由于要做课程设计论文,我当时选择做中文分词处理,自然而然就接触到这个工具了。 但是呢,由于研究生研究方向与NLP无关,也就没有深入的研究过。 现在由于工作需要,特地重新来学习一番。 首先介绍我的电脑环境:win10+anaconda3 (python3. ...
分类:
其他好文 时间:
2019-06-24 00:32:41
阅读次数:
95
```python import requests from bs4 import BeautifulSoup import datetime import pandas as pd import matplotlib.pyplot as plt import re import jieba imp... ...
分类:
编程语言 时间:
2019-06-20 23:52:36
阅读次数:
152