#添加全文索引 ALTER TABLE `biz_document` ADD FULLTEXT f_content (`content`) with parser ngram; ALTER TABLE `biz_document` ADD FULLTEXT f_title (`title`) wit ...
分类：
数据库 时间：
2021-05-24 15:08:40
阅读次数：
0
环境LNMP php 7.3 mysql 5.6 报错 SQLSTATE[HY000]: General error: 1128 Function 'ngram' is not defined (SQL: CREATE FULLTEXT INDEX content ON `testposts` (` ...
分类：
数据库 时间：
2020-06-21 13:40:44
阅读次数：
75
本篇介绍了前缀搜索，通配符搜索和正则搜索的基本玩法，对前缀搜索的性能影响和控制手段做了简单讲解，ngram在索引时局部搜索和搜索提示是非常经典的做法，最后顺带介绍了一下模糊搜索的常规用法，可以了解一下
分类：
其他好文 时间：
2020-06-09 16:35:32
阅读次数：
34
本篇介绍了前缀搜索，通配符搜索和正则搜索的基本玩法，对前缀搜索的性能影响和控制手段做了简单讲解，ngram在索引时局部搜索和搜索提示是非常经典的做法，最后顺带介绍了一下模糊搜索的常规用法，可以了解一下 ...
分类：
其他好文 时间：
2020-03-22 11:12:27
阅读次数：
71
微调后： Best score: 0.983Best parameters set: clf__C: 10 clf__penalty: 'l2' vect__max_df: 0.5 vect__max_features: None vect__ngram_range: (1, 2) vect__st ...
分类：
其他好文 时间：
2019-10-22 12:44:46
阅读次数：
218
在大数据的今天，世界上任何一台单机都无法处理大数据，无论cpu的计算能力或者内存的容量。必须采用分布式来实现多台单机的资源整合，来进行任务的处理，包括离线的批处理和在线的实时处理。 鉴于上次开会讲了语言模型的发展，从规则到后来的NNLM。本章的目的就是锻炼动手能力，在知道原理的基础上，通过采用MR范 ...
分类：
编程语言 时间：
2019-09-11 10:14:07
阅读次数：
114
1、ngram and MeCab full-text parser plugins 全文检索在MySQL里面很早就支持了，只不过一直以来只支持英文。缘由是他从来都使用空格来作为分词的分隔符，而对于中文来讲，显然用空格就不合适，需要针对中文语义进行分词。但从MySQL 5.7开始，MySQL内置了n ...
分类：
数据库 时间：
2019-09-04 11:45:50
阅读次数：
117
文本数据的特征提取,中文分词及词袋模型 1.使用CountVectorizer对文本进行特征提取 2.使用分词工具对中文文本进行分词 3.使用词袋模型将文本数据转为数组 对文本数据进一步优化处理 1.使用n-Gram改善词袋模型 在调整了CountVectorizer的ngram_range参数之后 ...
分类：
编程语言 时间：
2019-06-04 13:25:42
阅读次数：
98
函数说明： 1 CountVectorizer(ngram_range=(2, 2)) 进行字符串的前后组合，构造出新的词袋标签 参数说明：ngram_range=(2, 2) 表示选用2个词进行前后的组合，构成新的标签值 Ngram模型表示的是，对于词频而言，只考虑一个词，这里我们在CountVe ...
分类：
其他好文 时间：
2019-01-26 20:03:11
阅读次数：
1971
来源: Ngram 折扣平滑算法 本文档翻译自 srilm 手册 ngram-discount.7.html NAME ngram-discount – 这里主要说明 srilm 中实现的平滑算法 NOTATION a_z 代表以 a 为起始词，以 z 为结束词的 ngram，其中_代表 0 个或多 ...
分类：
编程语言 时间：
2018-10-09 14:25:10
阅读次数：
546
