标签：存在 汉字 image 三方 函数 odi png lazy col
(1)、jieba库概述
jieba是优秀的中文分词第三方库
- 中文文本需要通过分词获得单个的词语
- jieba是优秀的中文分词第三方库，需要额外安装
- jieba库提供三种分词模式，最简单只需掌握一个函数
(2)、jieba分词的原理
Jieba分词依靠中文词库
- 利用一个中文词库，确定汉字之间的关联概率
- 汉字间概率大的组成词组，形成分词结果
- 除了分词，用户还可以添加自定义的词组
(1)、jieba分词的三种模式
精确模式、全模式、搜索引擎模式
- 精确模式：把文本精确的切分开，不存在冗余单词
- 全模式：把文本中所有可能的词语都扫描出来，有冗余
- 搜索引擎模式：在精确模式基础上，对长词再次切分
(2)、jieba库常用函数
3、用jieba库分析文章
import jieba txt = open("C:\\text.txt", "r", encoding=‘utf-8‘).read() words = jieba.lcut(txt) counts = {} for word in words: if len(word) == 1: continue else: counts[word] = counts.get(word,0) + 1 items = list(counts.items()) items.sort(key=lambda x:x[1], reverse=True) for i in range(15): word, count = items[i] print ("{0:<10}{1:>5}".format(word, count))
4、运用wordcloud库
#GovRptWordCloudv1.py import jieba import wordcloud f = open("C:\\2019年政府工作报告.txt", "r", encoding="utf-8") t = f.read() f.close() ls = jieba.lcut(t) txt = " ".join(ls) w = wordcloud.WordCloud( width = 1000, height = 700, background_color = "white", font_path = "msyh.ttc",\<br> max_words=50 ) w.generate(txt) w.to_file("grwordcloud.png")
标签：存在 汉字 image 三方 函数 odi png lazy col
原文地址：https://www.cnblogs.com/hwb-znnsyw/p/13233416.html
