在实际的工作环境下，许多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有以下几个方面：一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至 过亿，那不是手工能解决的了，必须通过工具或者程序进行处...
分类：
其他好文 时间：
2015-03-29 07:02:13
阅读次数：
127
国内的APP行业始于2010年，其后，伴随着智能手机逐渐占领中国手机消费市场地节奏，海量APP开始渗透到人们衣食住行的方方面面，发展到今天，App Store中的应用数更是以百万计。前段时间，国外一家知名移动数据分析公司发布了多份关于APP的发展趋势报告，这些报告无不显示出APP对各行各业所产生的影响，这其中，我国更是凭借着基数庞大的用户群，问鼎APP增长最快的国家。
说实话，即使不...
分类：
移动开发 时间：
2015-03-28 15:50:02
阅读次数：
168
之前写过一篇博客是教你几种基本的常见排序算法 ，就说到会有后续的文章出来，继续写写排序问题，参加一些公司的电话面试，还总是会问到写关于排序的问题，大多是关于堆排序，快排序或者海量数据排序，或者从很到的数字序列中找到些中间位置的数字，或者是前K个最小的数字等相关问题，今天正好有空写了写堆排序的代码，自己存储一下，也拿出来共享给大家！
堆排序的算法思路，网上一搜索一堆，本科的课本里面也有较为详细的讲解...
分类：
编程语言 时间：
2015-03-21 23:00:13
阅读次数：
307
今天中邪了， 觉得看看bloom filter。 看看海量数据处理的经典算法。
这是1970年提出来。 是用于检测一个元素是不是一个集合的成员。 如果检测结果为True， 则该元素不一定在该集合中。 如果检测结果为False, 表明该元素一定在这个集合中。 这说明bloom filter 具有 100%的召回率。 每个检测请求返回的结果只有两种， 也就是“在集合内（可能错误）” 和 “绝对不...
分类：
其他好文 时间：
2015-03-20 18:47:25
阅读次数：
163
海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash...
分类：
其他好文 时间：
2015-03-20 18:09:20
阅读次数：
95
今天看到海量数据处理算法————bitmap（又称为bitset, 或者bit array）， 有意思的算法。
C++ 有一个头文件是。
bitmap的思想就是数据压缩。 用一个二进制bit(0或者1)去标记某个元素对应的value， 这就是bit + map啊。
由于使用bit单位存储数据， 所以可大大节省内存空间。下面举一个使用bitmap 的例子。
我们要对0-7内的五个元素进行排...
分类：
编程语言 时间：
2015-03-20 16:35:58
阅读次数：
173
要想找到网页里那些图片和网页的内容相关绝不是一件容易的事，网页里有各式各样的图片，广告啦、推荐其他网页的缩略图啦、logo等等，可是在与网页相关的图片少之又少。过去大家都觉得没必要有文字就足够了，可到了信息大爆炸的时代，面对海量网页，人们早已没有了兴趣。第一个不得不面临这个问题地是社交网站，人们除了...
分类：
Web程序 时间：
2015-03-19 21:50:12
阅读次数：
161
如何处理海量数据(转)在实际的工作环境下，许多人会遇到海量数据这个复杂而艰巨的问题，它的主要难点有以下几个方面：一、数据量过大，数据中什么情况都可能存在。如果说有10条数据，那么大不了每条去逐一检查，人为处理，如果有上百条数据，也可以考虑，如果数据上到千万级别，甚至 过亿，那不是手工能解决的了，必须...
分类：
其他好文 时间：
2015-03-18 17:23:03
阅读次数：
223
原文：从上百幅架构图中学大型网站建设经验（上）目录(?)[-]WikiPedia 技术架构Facebook 架构Yahoo Mail 架构twitter技术架构Google App Engine技术架构Amazon技术架构优酷网的技术架构后记引言 近段时间以来，通过接触有关海量数据处理和搜索引擎的诸...
分类：
Web程序 时间：
2015-03-18 06:29:18
阅读次数：
176
其实我们要知道大数据的实质特性：针对增量中海量的结构化，非结构化，半结构数据，在这种情况下，如何快速反复计算挖掘出高效益的市场数据？带着这个问题渗透到业务中去分析，就知道hadoop需要应用到什么业务场景了！！！如果关系型数据库都能应付的工作还需要hadoop吗？比如 1.银行的信用卡业务，当你正在...
分类：
其他好文 时间：
2015-03-17 21:48:13
阅读次数：
115
