mysql5.6 innlDB 在CHAR、VARCHAR、TEXT类型的列上可以定义全文索引，但因为无法中文分词所以对中文的支持很差，但从MySQL5.7开始，MySQL内置了ngram全文检索插件，用来支持中文分词，并且对MyISAM和InnoDB引擎有效。 在没法升级5.7的情况下，5.6有变 ...
分类：
数据库 时间：
2018-03-20 12:46:48
阅读次数：
295
在之前我们学的都是英文，用的也是英文的standard分词器。从这一节开始，学习中文分词器。中国人基本上都是中文应用，很少是英文的，而standard分词器是没有办法对中文进行合理分词的，只是将每个中文字符一个一个的切割开来，比如说中国人 --> 中 国 人 在中方搜索引擎领域，比较成熟和流行的，就... ...
分类：
其他好文 时间：
2018-03-08 23:03:39
阅读次数：
407
对于搜索引擎的搜索准确度影响很大 1.基于字符串匹配（机械分词） 一般作为一个初分手段 （1）正向最大匹配法（需要充分大的词典） 例子: 将句子 ’ 今天来了许多新同事 ’ 分词。 设最大词长为5 例子: 将句子 ’ 今天来了许多新同事 ’ 分词。 设最大词长为5 今天来了许 今天来了 今天来 今天 ...
分类：
编程语言 时间：
2018-03-01 13:20:26
阅读次数：
167
solr7.2.1环境搭建和配置ik中文分词器 安装环境：Jdk 1.8、 windows 10 安装包准备： solr 各种版本集合下载：http://archive.apache.org/dist/lucene/solr/ tomcat下载（apache-tomcat-8.5.27-window ...
分类：
其他好文 时间：
2018-02-10 20:05:33
阅读次数：
230
"CoreNLP" 是由斯坦福大学开源的一套Java NLP工具，提供诸如：词性标注（part of speech (POS) tagger）、命名实体识别（named entity recognizer (NER)）、情感分析（sentiment analysis）等功能。 【开源中文分词工具探析 ...
分类：
其他好文 时间：
2018-02-07 22:45:58
阅读次数：
902
1. 下载或者编译 IK 分词器的 jar 包文件，然后放入 ...\apache-tomcat-8.5.16\webapps\solr\WEB-INF\lib\ 这个 lib 文件目录下； IK 分词器下载地址：http://download.csdn.net/download/qq_353185 ...
分类：
其他好文 时间：
2018-02-07 14:39:45
阅读次数：
110
1. 前言 隐马尔科夫HMM模型是一类重要的机器学习方法，其主要用于序列数据的分析，广泛应用于语音识别、文本翻译、序列预测、中文分词等多个领域。虽然近年来，由于RNN等深度学习方法的发展，HMM模型逐渐变得不怎么流行了，但并不意味着完全退出应用领域，甚至在一些轻量级的任务中仍有应用。本系列博客将详细 ...
分类：
编程语言 时间：
2018-02-03 15:53:33
阅读次数：
975
python安装Jieba中文分词组件 1、下载http://pypi.python.org/pypi/jieba/ 2、解压到解压到python目录下： 3、“win+R”进入cmd；依次输入如下代码： 测试 在PyCharm里写一个中文分词的小程序: fenCi.py 运行结果： ps:另外一种 ...
分类：
编程语言 时间：
2018-01-29 11:42:16
阅读次数：
986
JAVA课程设计 基于学院网站的搜索引擎 对学院网站进行抓取、建索（需要中文分词）、排序（可选）、搜索、摘要显示。可以是GUI界面，也可以是Web界面。 一、团队介绍 |学号|班级|姓名|简介| |: :|: :|: :|: :| |201621123049|网络1612|[组长]袁德兴|热衷于网络 ...
分类：
编程语言 时间：
2018-01-25 19:53:57
阅读次数：
264
