中文词频统计及词云制作

标签：list   ems   int   项目   下载   logs   国际   color   nbsp   

1.中软国际华南区技术总监曾老师还会来上两次课，同学们希望曾老师讲些什么内容？

我希望老师能讲下他自己做项目的经验与需要注意的地方，或者说说我们以后再这方面的发展的可以先从哪方面开始做起。

2.中文分词

1. 下载一中文长篇小说，并转换成UTF-8编码。
2. 使用jieba库，进行中文词频统计，输出TOP20的词及出现次数。

   import jieba
   txt=open(‘追风筝的女孩.txt‘,‘r‘,encoding=‘utf-8‘)
   jianai=txt.read()
   for i in ‘,.""!?‘:
       jianai=jianai.replace(i,‘ ‘)
   jianai=list(jieba.cut(jianai))
   ll={‘嗯‘,‘女孩‘,‘我‘,‘风筝‘,‘开心‘,‘或,‘离开‘,‘认为‘,‘牛逼‘,‘放飞,‘追‘,‘阳光‘}
   dic={}
   keys=set(jianai)-ll
   for i in keys:
       dic[i]=jianai.count(i)
   items=list(dic.items())
   item.sort(keys=lambda x:x[1],reverse=True)
   for i in range(10):
       print(item[i])
   jianai.close()

    

中文词频统计及词云制作

标签：list   ems   int   项目   下载   logs   国际   color   nbsp   

原文地址：http://www.cnblogs.com/seed-ge/p/7594650.html