码迷,mamicode.com
首页 >  
搜索关键字:jieba    ( 462个结果
中央一号文件中文词频统计并保存到文件中
1 # Author :Zcb 2 3 #中文词频统计 4 import jieba 5 import sys 6 7 f = open("d:/政府工作报告.txt",'r') 8 txt = f.read() 9 f.close() 10 11 d={} 12 ls=jieba.lcut(txt... ...
分类:其他好文   时间:2019-07-28 15:31:39    阅读次数:117
jieba gensim 相似度实现
import jieba from gensim import corpora # (语料库) from gensim import models # 训练模型 from gensim import similarities # 相似度处理 # 总体思路; # 1.先遍历语法库,jieba.cut( ...
分类:其他好文   时间:2019-07-26 19:14:44    阅读次数:121
函数,集合,列表,字典,jieba库知识整理
函数 函数用来:实现一个功能,函数理解成一个工具,遇到问题就可以把这个工具拿过来用 函数的好处: 函数比较方便,复用,可以在多个场景下用 函数定义: def 函数名 (参数) 利用调用函数求解圆的pi python lt = ["nick","handsome",1,1] print(lt) pyt ...
分类:其他好文   时间:2019-07-18 19:33:25    阅读次数:187
NLP杂点
1.停用词 stop words: 在处理自然语言数据(或文本)之前或之后会自动过滤掉某些字或词。 停用词都是人工输入、或者由一个停用词表导入。 2.jieba是目前最好的 Python 中文分词组件,它主要有以下 3 种特性: 支持 3 种分词模式: 精确模式,试图将句子最精确地切开,适合文本分析 ...
分类:其他好文   时间:2019-07-09 22:34:17    阅读次数:160
jieba分词算法使用
第一步:先导入jieba分词包 第二步:使用jieba分词的方法 常用的有:jieba.cut()、jieba.cut_for_search()和jieba.posseg.cut() 前者是无词性分词,中间为浏览器搜索,后者是有词性分词 其中jieba.cut()中除了需要加入被拆分的字符串还可以加 ...
分类:编程语言   时间:2019-07-07 17:48:58    阅读次数:158
seo数据采集及页面自动生成机制
先收集一批核心关键词作为词根 围绕词根进行挖词(百度下拉及相关) 过滤违禁词,自定义黑名单,重复词 统计扩展词与对应词根的相似度,(python备选:jieba词库)归类,相似值>=0.45的为同类词 相关且有搜索量的词,进入该行业频道的词表,生成的页面给予最大的资源支持;相关但无搜索量的,给予较小 ...
分类:其他好文   时间:2019-07-04 09:52:22    阅读次数:259
中文自然语言处理(NLP)(一)python jieba模块
1.jieba分词的安装 直接在cmd窗口当中pip install即可 2.jieba分词的介绍 jieba分词是目前比较好的中文分词组件之一,jieba分词支持三种模式的分词(精确模式、全模式、搜索引擎模式),并且支持自定义词典(这一点在特定的领域很重要,有时候需要根据领域的需要来添加特定的词典 ...
分类:编程语言   时间:2019-07-04 00:50:31    阅读次数:168
HMM(隐马尔科夫)用于中文分词
隐马尔可夫模型(Hidden Markov Model,HMM)是用来描述一个含有隐含未知参数的马尔可夫过程。 本文阅读了2篇blog,理解其中的意思,附上自己的代码,共同学习。 一、理解隐马尔科夫 1.1 举例理解 来源:< http://www.cnblogs.com/skyme/p/46513 ...
分类:其他好文   时间:2019-06-28 17:59:55    阅读次数:122
1.3 jieba中文处理+安装
第一次接触这个工具,是在研一上学期的一门课里。由于要做课程设计论文,我当时选择做中文分词处理,自然而然就接触到这个工具了。 但是呢,由于研究生研究方向与NLP无关,也就没有深入的研究过。 现在由于工作需要,特地重新来学习一番。 首先介绍我的电脑环境:win10+anaconda3 (python3. ...
分类:其他好文   时间:2019-06-24 00:32:41    阅读次数:95
《手牵手带你走进python世界》系列五
```python import requests from bs4 import BeautifulSoup import datetime import pandas as pd import matplotlib.pyplot as plt import re import jieba imp... ...
分类:编程语言   时间:2019-06-20 23:52:36    阅读次数:152
462条   上一页 1 ... 14 15 16 17 18 ... 47 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!