Mmseg中文分词算法解析 @author linjiexing 开发中文搜索和中文词库语义自己主动识别的时候，我採用都是基于mmseg中文分词算法开发的Jcseg开源project。使用场景涉及搜索索引创建时的中文分词、新词发现的中文分词、语义词向量空间构建过程的中文分词和文章特征向量提取前的中文 ...
分类：
编程语言 时间：
2017-05-16 11:00:05
阅读次数：
180
特点支持三种分词模式：精确模式，试图将句子最精确地切开，适合文本分析；全模式，把句子中所有的可以成词的词语都扫描出来,速度非常快，但是不能解决歧义。具体来说，分词过程不会借助于词频查找最大概率路径，亦不会使用HMM；搜索引擎模式，在精确模式的基础上，对长词再次..
分类：
Web程序 时间：
2017-05-15 22:45:12
阅读次数：
1008
Elasticsearch默认提供的分词器，会把每一个汉字分开，而不是我们想要的依据关键词来分词。比如： curl -XPOST "http://localhost:9200/userinfo/_analyze?analyzer=standard&pretty=true&text=我是中国人"我们会 ...
分类：
其他好文 时间：
2017-05-15 13:01:57
阅读次数：
296
python用来批量处理一些数据的第一步吧。 对于我这样的的萌新。这是第一步。 在控制台输出txt文档的内容，注意中文会在这里乱码。因为和脚本文件放在同一个地方，我就没写路径了。 还有一些别的操作。 这是文件open（）函数的打开mode，在第二个参数中设置。特别需要注意一下。具体还有一些别的细节操 ...
分类：
编程语言 时间：
2017-05-14 23:37:38
阅读次数：
498
参考：http://www.mamicode.com/info-detail-1705113.html 先声明，热更新词库，需要用到，web项目和Tomcat。不会的，请移步 Eclipse下Maven新建项目、自动打依赖jar包（包含普通项目和Web项目） Tomcat *的安装和运行（绿色版和安 ...
分类：
其他好文 时间：
2017-05-11 12:50:47
阅读次数：
279
1、配置solr6.5自带中文分词。复制/usr/local/solr/contrib/analysis-extras/lucene-libs/lucene-analyzers-smartcn-6.5.0.jar到/usr/local/tomcat/webapps/solr/WEB-INF/lib/ ...
分类：
其他好文 时间：
2017-05-08 23:25:09
阅读次数：
436
1、分词工具是IKAnalyzer它是以开源项目Lucene为应用主体的，结合词典分词和文法分析算法的中文分词组件。2、UUID(UniversallyUniqueIdentifier)全局唯一标识符,是指在一台机器上生成的数字，它保证对在同一时空中的所有机器都是唯一的。3、插入数据库错误：Datatruncation:Dat..
分类：
其他好文 时间：
2017-05-07 20:07:15
阅读次数：
137
相对于英文检索，中文检索有两个特别要考虑的问题：编码问题和中文分词问题。 一、编码问题 1. 为了解决中文编码问题，我们在网页结构化信息预处理的时候统一采用utf-8编码； 2. 在Lucene创建索引的时候，构造一个BufferedReader对象以utf-8编码读取文件，使用如下语句： Buff ...
分类：
其他好文 时间：
2017-05-07 10:19:34
阅读次数：
184
lucene4.0版本号以后 已经用TokenStreamComponents 代替了TokenStream流。里面包含了filter和tokenizer 在较复杂的lucene搜索业务场景下，直接网上下载一个作为项目的分词器，是不够的。那么怎么去评定一个中文分词器的好与差：一般来讲。有两个点。词库 ...
分类：
Web程序 时间：
2017-04-30 12:35:14
阅读次数：
152
http://www.17bigdata.com/97-5%E5%87%86%E7%A1%AE%E7%8E%87%E7%9A%84%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0%E4%B8%AD%E6%96%87%E5%88%86%E8%AF%8D%EF%BC%88%E5% ...
分类：
其他好文 时间：
2017-04-24 14:04:06
阅读次数：
326
