码迷,mamicode.com
首页 > 编程语言 > 详细

大数据类算法问题

时间:2018-01-16 00:42:12      阅读:185      评论:0      收藏:0      [点我收藏+]

标签:利用   排序   大小   hash   归并   算法   val   大数据   不同   

1.有一个1G大小的一个文件,里面每一行是一个词,词的大小不超过16字节,内存限制大小是1M。返回频数最高的100个词

1G有2^26个单词,1M可以存2^16个词。

step1:利用hash散列方法,hash(x)/5000将文件单词存到5000个不同的空间。(平均下来,每个空间大概有200k大小,有的可能超过1M,则对于该集合继续划分,知道都小于1M)

step2:将每个集合放入内存进行hashmap处理,key设为单词,value为频率。

step3:对于每个集合,通过最小堆排序的算法求其平率最高的100个。然后将这5000个进行归并排序。(5000*100=500000<2^16)

大数据类算法问题

标签:利用   排序   大小   hash   归并   算法   val   大数据   不同   

原文地址:https://www.cnblogs.com/wuleh/p/8290019.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!