一、中文分词：分词就是利用计算机识别出文本中词汇的过程。
1.典型应用：汉字处理：拼音输入法、手写识别、简繁转换 ；信息检索：Google 、Baidu ；内容分析：机器翻译、广告推荐、内容监控
；语音处理：语音识别、语音合成 。 2.分词难点：歧义、新词等。 3.分词技术：机械分词（查词典FMM/...
分类：
其他好文 时间：
2014-06-07 06:04:35
阅读次数：
511
Solr调研总结开发类型全文检索相关开发Solr版本4.2文件内容本文介绍solr的功能使用及相关注意事项;主要包括以下内容:环境搭建及调试、两个核心配置文件介绍、中文分词器配置、维护索引、查询索引,高亮显示、拼写检查、搜索建议、分组统计、自动聚类、相似匹配、拼音检索等功能的使用方法。在代码文本框中...
分类：
其他好文 时间：
2014-05-26 22:22:05
阅读次数：
886
1.基本介绍：paoding：Lucene中文分词“庖丁解牛”
PaodingAnalysisimdict ：imdict智能词典所采用的智能中文分词程序mmseg4j： 用 Chih-Hao Tsai 的 MMSeg 算法
实现的中文分词器ik ：采用了特有的“正向迭代最细粒度切分算法“，多子处理...
分类：
其他好文 时间：
2014-05-24 11:47:16
阅读次数：
358
本篇是本人在Solr的基础上，配置了中文分词器，并对其进行的性能测试总结，具体包括使用mmseg4j、IKAnalyzer、Ansj，分别从创建索引效果、创建索引性能、数据搜索效率等方面进行衡量。具体的Solr使用方法假设读者已有了基础，关于Solr的性能指标见前期的Solr博文。
分类：
其他好文 时间：
2014-05-24 09:33:03
阅读次数：
371
需要在项目中引入：IKAnalyzer.cfg.xmlIKAnalyzer2012.jarlucene-core-3.6.0.jarstopword.dic什么都不用改示例代码如下(使用IK
Analyzer):[java] view plaincopypackage com.haha.test; ...
分类：
编程语言 时间：
2014-05-22 05:58:40
阅读次数：
392
主要内容： 1、文本表示与特征提取； 2、隐语义分析LSA和Latent Dirichlet
Allocation(LDA) 3、检索模型：Boolean模型、向量模型、概率模型 1、文本表示与特征提取 文本中抽取出的特征词进行量化来表示文本信息；
利用分词工具：极易中文分词：je-analysis...
分类：
其他好文 时间：
2014-05-21 18:03:26
阅读次数：
486
需要在项目中引入：IKAnalyzer.cfg.xmlIKAnalyzer2012.jarlucene-core-3.6.0.jarstopword.dic什么都不用改示例代码如下(使用IKAnalyzer):[java]viewplaincopypackagecom.haha.test;importjava.io.IOException;importjava.io.StringReader;importorg.apache.lucene.analysis.Ana..
分类：
编程语言 时间：
2014-05-20 20:28:42
阅读次数：
390
运用前面几篇文章中的分词算法，可以把中文中的词语分出来，但是不同算法可能得到的分词结果不一样，到底如何确定那种分词效果最好呢。我们在这篇文章中探讨一种判断分词效果好坏的方法。
在分词的时候，有些单字是不成词的。可以搜索所有分词的可能性，然后对每一种分词结果进行统计，规则如下：每分出一个词就给分词统计结果加一，如果遇到不成词的单字就再给该分词结果加一。得到的结果分别计算出来。选出一个得分最低的就是所要分词的字符串的结果。
下面就用代码实现一下上面的思想。分别用正向最大匹配和逆向...
分类：
其他好文 时间：
2014-05-14 21:04:01
阅读次数：
256
一、简介
SDL（Simple DirectMedia Layer）是一套开放源代码的跨平台多媒体开发库，使用C语言写成。SDL提供了数种控制图像、声音、输出入的函数，让开发者只要用相同或是相似的代码就可以开发出跨多个平台（Linux、Windows、Mac OS X等）的应用软件。目前SDL多用于开发游戏、模拟器、媒体播放器等多媒体应用领域。
二、配置
sudo apt-get insta...
分类：
其他好文 时间：
2014-05-14 20:21:52
阅读次数：
351
上一篇文章中介绍了一种中文分词的选取算法，本篇文章将介绍另外一种中文分词选取算法，依概率选取算法。
中文分词分词完成之后，还是上篇文章中的原则，分词结果不唯一，然后我们算法的目的是从几种分词好的算法之后选取一个作为分词的最终结果。算法会统计每个词在所有文档中的概率，该算法的中心思想是计算一个字符串中所有分词的概率之积，选取概率最大的作为分词的最终结果。
算法步骤：第一步，通过上几篇文章的的算法对字符串进行分词；第二步，扫描每一次分词结果；第三步，计算每一次分词结果的所有词的概...
分类：
其他好文 时间：
2014-05-14 20:05:32
阅读次数：
285
