转载： http://www.cnblogs.com/jiayongji/p/7119065.html 结巴是一个功能强大的分词库。 安装jieba pip install jieba 简单用法 结巴分词分为三种模式：精确模式（默认）、全模式和搜索引擎模式，下面对这三种模式分别举例介绍： 精确模式 ...
分类：
编程语言 时间：
2018-04-24 17:26:45
阅读次数：
361
最近用到分词考虑很久，选用了结巴分词，原因见博客 "Lucene.net(4.8.0) 学习问题记录五: JIEba分词和Lucene的结合，以及对分词器的思考" 既然选好了，难就开始行动吧 。 查了.net core版的JIEba分词目前已经有人迁移了 1. "https://github.com ...
分类：
Web程序 时间：
2018-02-28 22:59:11
阅读次数：
969
由于我安装的是 Python3 ，所以我是通过 pip3 来安装 jieba 分词模块： 执行完上面的一步之后，我们就已经成功安装了 jieba 分词模块了，以下我们来进行一个简单的测试，看看我们是否安装成功： 下面我们来看看结果： 由上图可以得出，cut 的结果返回的是一个生成器，最后的分词结果是 ...
分类：
编程语言 时间：
2018-02-23 23:57:02
阅读次数：
720
<?php $str="我...我要要要...学学学..编编程"; $str=preg_replace('/\./','',$str);//我我要要要学学学编编程 $str=preg_replace('/(.)\1+/u','$1',$str);//我要学编程 echo $str; 全部用正则实现。... ...
分类：
Web程序 时间：
2017-12-22 16:35:37
阅读次数：
179
在采集美女站时,需要对关键词进行分词,最终采用的是python的结巴分词方法. 中文分词是中文文本处理的一个基础性工作，结巴分词利用进行中文分词。其基本实现原理有三点： 安装（Linux环境） 下载工具包，解压后进入目录下，运行：python setup.py install 模式 接口 组件只提供 ...
分类：
其他好文 时间：
2017-11-14 11:14:40
阅读次数：
110
最近利用空闲时间实现了一个简易的全文搜索引擎，主要是把学的东西练一下手，目前支持简单的单词搜索和基于用户点击实学习。其他部分还在继续开发（本文主要用以记录设计思路，完整代码等主要的做出来提交。） 1. 基本流程 2. 主要模块 2.1 内容获取 定时运行爬取程序。 2.2 分词 调用结巴分词开源包( ...
分类：
其他好文 时间：
2017-11-01 21:47:05
阅读次数：
189
手记实用系列文章： 1 结巴分词和自然语言处理HanLP处理手记 2 Python中文语料批量预处理手记 3 自然语言处理手记 4 Python中调用自然语言处理工具HanLP手记 5 Python中结巴分词使用手记 语料预处理封装类： 执行结果： ...
分类：
编程语言 时间：
2017-10-16 13:56:50
阅读次数：
342
手记实用系列文章： 1 结巴分词和自然语言处理HanLP处理手记 2 Python中文语料批量预处理手记 3 自然语言处理手记 4 Python中调用自然语言处理工具HanLP手记 5 Python中结巴分词使用手记 代码封装类： 运行效果： ...
分类：
编程语言 时间：
2017-10-16 13:34:33
阅读次数：
272
手记实用系列文章： 1 结巴分词和自然语言处理HanLP处理手记 2 Python中文语料批量预处理手记 3 自然语言处理手记 4 Python中调用自然语言处理工具HanLP手记 5 Python中结巴分词使用手记 HanLP方法封装类： HanLP运行结果： ...
分类：
编程语言 时间：
2017-10-16 13:33:27
阅读次数：
162
