字典树 = 概述 字典树，又称单词查找树，Trie树，是一种树形结构，是一种哈希树的变种。典型应用是用于统计，排序和保存大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。它的优点是：利用字符串的公共前缀来减少查询时间，最大限度地减少无谓的字符串比较，查询效率比哈希树高。 光说 ...
分类：
其他好文 时间：
2019-08-14 17:16:14
阅读次数：
123
Aho Corasick automaton是什么？ 要学会AC自动机，我们必须知道什么是Trie，也就是字典树。Trie树，又称单词查找树或键树，是一种树形结构，是一种哈希树的变种。典型应用是用于统计和排序大量的字符串（但不仅限于字符串），所以经常被搜索引擎系统用于文本词频统计。 首先我们要知道t ...
分类：
其他好文 时间：
2019-08-10 21:23:14
阅读次数：
169
前言：首先有这样一个需求，需要统计一篇10000字的文章，需要统计里面哪些词出现的频率比较高，这里面比较重要的是如何对文章中的一段话进行分词，例如“北京是×××的首都”，“北京”，“×××”，“中华”，“华人”，“人民”，“共和国”，“首都”这些是一个词，需要切分出来，而“京是”“民共”这些就不是有 ...
分类：
编程语言 时间：
2019-08-06 17:02:55
阅读次数：
112
1 # Author :Zcb 2 3 #中文词频统计 4 import jieba 5 import sys 6 7 f = open("d:/政府工作报告.txt",'r') 8 txt = f.read() 9 f.close() 10 11 d={} 12 ls=jieba.lcut(txt... ...
分类：
其他好文 时间：
2019-07-28 15:31:39
阅读次数：
117
数据之美 数据可视化的目的是让数据更高效 让读者更高效的阅读 突出数据背后的规律 突出重要因素 最后?美观 例子：词频图 图标的基本概念 Dimension 描述分析的角度和属性，分类数据 时间、地理位置、产品类型等 可以将一份数据比喻为一块蛋糕，维度即为切刀，将数据分开 Message 具体的参考 ...
分类：
其他好文 时间：
2019-07-28 12:13:31
阅读次数：
149
对于非结构化的网站中文评论信息，r的中文词频包可能是用来挖掘其潜在信息的好工具，要分析文本内容，最常见的分析方法是提取文本中的词语，并统计频率。频率能反映词语在文本中的重要性，一般越重要的词语，在文本中出现的次数就会越多。词语提取后，还可以做成词云，让词语的频率属性可视化，更加直观清晰。 比如对于如 ...
分类：
编程语言 时间：
2019-07-19 19:16:30
阅读次数：
251
实现之前，我们要事先说明一些问题： 我们用Redis对数据进行持久化，存两种形式的MAP: key值为term，value值为含有该term的urlkey值为url，value值为map，记录term及在文章中出现的次数总的计算公式如下： 1.计算词频TF这里通过给出url地址，获取搜索词term在 ...
分类：
编程语言 时间：
2019-06-29 12:41:17
阅读次数：
168
1.列表，元组，字典，集合分别如何增删改查及遍历。 列表： 对列表的数据项进行修改或更新，你也可以使用append()方法来添加列表项；可以使用 del 语句来删除列表的的元素； 元组： 元组可以使用下标索引来访问元组中的值；元组中的元素值是不允许修改的，但我们可以对元组进行连接组合；元组中的元素值 ...
分类：
其他好文 时间：
2019-06-19 20:07:32
阅读次数：
104
中文词频统计 1. 下载一长篇中文小说。 2. 从文件读取待分析文本。 3. 安装并使用jieba进行中文分词。 pip install jieba import jieba ljieba.lcut(text) 4. 更新词库，加入所分析对象的专业词汇。 jieba.add_word('天罡北斗阵' ...
分类：
其他好文 时间：
2019-06-19 19:58:28
阅读次数：
129
