标签：结合 场景 规则 切分 nbsp 自然语言处理 bsp 方式 pytho
一. 中文分词技术
中文自动分词可主要归纳为“规则分词”“统计分词”和“混合分词”，规则分词主要是通过人工设立词库，按照一定方式进行匹配切分，实现简单高效，但对新词很难进行处理，统计分词能够较好应对新词发现能特殊场景，但太过于依赖语料的质量，因此实践中多是采用两者的结合，即混合分词。
1.1 规则分词
标签：结合 场景 规则 切分 nbsp 自然语言处理 bsp 方式 pytho
原文地址：https://www.cnblogs.com/herokk/p/10129104.html
