【题目】 有一个包含20亿个全是32位整数的大文件，在其中找到出现次数最多的数。 【要求】 内存限制为2GB。 【解答】 想要在很多整数中找到出现次数最多的数，通常的做法是使用哈希表对出现的每一个数做词频统计，哈希表的key是某一个整数，value是这个数出现的次数。就本题来说，一共有20亿个数，哪 ...
分类：
其他好文 时间：
2019-10-19 12:49:43
阅读次数：
167
#CalThreeKingdomsV2.pyimport jiebatxt = open("threekingdoms.txt","r",encoding="GB18030").read()excludes = {"将军","却说","荆州","二人","不可","不能","如此","商议","如何 ...
分类：
其他好文 时间：
2019-10-10 18:44:31
阅读次数：
126
from 10.5-10.7 1. tf-idf 词频 * 逆文档频率 词频为给定词在该词所在文档中出现的频率（该词在文件中的出现次数 / 该文件中所有词出现次数之和）；对词数进行归一化，以防止它偏向长的文件。 逆向文件频率是一个词普遍重要性的度量。某一特定词的IDF，可以由总文件数目除以包含该词文 ...
分类：
其他好文 时间：
2019-10-05 20:42:27
阅读次数：
109
import refrom collections import Countertxt = open('readme.txt',mode='r').read()#读取文件list1 = re.split('\W+',txt)#以不是英文字母来区分单词out1 = Counter(list1)#统计词... ...
分类：
其他好文 时间：
2019-10-05 12:36:40
阅读次数：
92
1. 词频统计： 结果是： 曹操 946孔明 737将军 622玄德 585却说 534关公 509荆州 413二人 410丞相 405玄德曰 390不可 387孔明曰 374张飞 358如此 320不能 318 进一步改进， 我想只知道人物出场统计，代码如下： 运行结果为： 曹操 1358孔明 1 ...
分类：
编程语言 时间：
2019-09-30 12:31:26
阅读次数：
214
Elasticsearch 的相似度算法 被定义为检索词频率/反向文档频率， TF/IDF ，包括以下内容： 检索词频率 检索词在该字段出现的频率？出现频率越高，相关性也越高。 字段中出现过 5 次要比只出现过 1 次的相关性高。反向文档频率 每个检索词在索引中出现的频率？频率越高，相关性越低。检索 ...
分类：
其他好文 时间：
2019-09-21 10:56:34
阅读次数：
99
项目简介 这里给出一个经典的词频统计的案例：统计如下样本数据中每个单词出现的次数。 SparkHBase HiveFlinkStormHadoopHBaseSpark Flink HBaseStorm HBaseHadoopHiveFlink HBaseFlinkHiveStorm HiveFlin ...
分类：
其他好文 时间：
2019-09-14 23:07:58
阅读次数：
208
项目简介 这里给出一个经典的词频统计的案例：统计如下样本数据中每个单词出现的次数。 SparkHBase HiveFlinkStormHadoopHBaseSpark Flink HBaseStorm HBaseHadoopHiveFlink HBaseFlinkHiveStorm HiveFlin ...
分类：
其他好文 时间：
2019-09-14 22:34:06
阅读次数：
131
语言：Python3.7 包：jieba counter re 出错内容：由于没有在写入文件中规定其编码方式，导致为16进制写入，设置编码方式即可 ...
分类：
编程语言 时间：
2019-09-10 18:01:04
阅读次数：
90
介绍 分词 python 添加自定义词典 python 自定义的词典格式如下： 词语 词频(可省略) 词性(可省略) 至于词频和词性后面会说 自定义一个1.txt文件，里面包含内容如下 python 除此之外，还可以不用通过加载文件的方式来加载词典 python 关键词提取 jieba 提供了两种关 ...
分类：
其他好文 时间：
2019-08-22 17:20:49
阅读次数：
106
