问题实例：海量日志数据，提取出某日访问百度次数最多的那个IP。答：对于ip,最多也就2^32个。所以可以很好地通过hash函数映射到内存中，再进行统计。原理简述：hash的基本原理网上也已经很多了，下面简单提一下。在ssh协议加密中，sha-1就是通过哈希来进行的。哈希就是将一个字符串或者其他数字之...
分类：
其他好文 时间：
2014-08-07 22:50:15
阅读次数：
290
例题：给定两个大文件，各含有50亿条url，要求利用4G内存快速找出共同的url解答：假设两个文件为A和B，4G内存有32G位，可以表示5G的url。本文采用bloom filter解答：首先简单介绍一下bloom filter的思想，其核心是：位数组；K个hash函数。通过对大量数据处理，通过k个...
分类：
其他好文 时间：
2014-08-07 21:49:20
阅读次数：
183
1 定义hadoop是一个分布式系统架构。2 基本模块HDFS为海量数据提供了存储。Map/Reduce为海量数据提供了计算。3 子项目Hadoop Common: 在0.20及以前的版本中，包含HDFS、MapReduce和其他项目公共内容，从0.21开始HDFS和MapReduce被分离为独立的...
分类：
其他好文 时间：
2014-08-07 15:40:30
阅读次数：
239
一、SpringBatch简介
Spring Batch是一个轻量级的批处理框架, 可以用于企业级海量数据处理, 它提供以下技术解决方案:
1. 定时批处理
2. 大规模并行处理
3. 企业消息驱动处理
二、SpringBatch结构
Spring Batch由应用层、核心层、基础架构层等组成:
1. 应用层: 包含所有的批处理作业,...
分类：
编程语言 时间：
2014-08-06 23:01:42
阅读次数：
477
程序员应该要爱惜生命，做有用有意义的事情。做有用的事情，有两种方式，一、做一个对用户真正有价值的项目，这个项目是真正有意义有用的；二、朝正确的方向以正确的方式做项目。但是程序员会遇到很多失败的项目，这些系统要么是没有人用没有真正价值，要么是以不正确的方式做项目，使用不当的技术，例如，用报表工具代替查询、用ESB企业总线当作海量数据传输用，或者做一些没有实际用途的功能，如做一个万能的用户自定义查询系...
分类：
其他好文 时间：
2014-08-06 19:00:22
阅读次数：
236
阿里云计算的ODPS从内部使用的工具变成了面向社会开放的大数据平台，开创了国内大数据公共服务的先河，降低了大数据在资金、人才和应用方面的门槛。小型企业只要花费几百元就能进行海量数据分析，这是真的吗?阿里云计算的大数据平台ODPS可以让你梦想成真。今年举行的阿里巴巴大..
分类：
其他好文 时间：
2014-08-04 18:11:18
阅读次数：
292
今天来说说hadoop的一大核心——HDFS，这个是很重要的，它呢，是分布式文件系统。为什么说hadoop能存储海量数据？其实主要还是依赖与hdfs的能力，主要依赖的是hdfs能存储海量数据。
1、 为什么hdfs能存储海量数据呢？
一开始抛出这样的问题来想想。至于HDFS的基本概念什么的都不用多说了的~我们重在使用，而不是去做“研究”。扯蛋的话就是，“专家的研究”已经成为名副其实的贬义词了，...
分类：
其他好文 时间：
2014-08-03 18:09:05
阅读次数：
332
第一部分、十道海量数据处理面试题1、海量日志数据，提取出某日访问百度次数最多的那个IP。首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法， 比如模1000，把整个大文件映射为1000个小文件，再找出每个小文...
分类：
编程语言 时间：
2014-08-03 17:33:25
阅读次数：
345
千万级的注册用户，千万级的帖子，nTB级的附件，还有巨大的日访问量，大型网站采用什么系统架构保证性能和稳定性？
首先讨论一下大型网站需要注意和考虑的问题。
数据库海量数据处理：负载量不大的情况下select、delete和update是响应很迅速的，最多加几个索引就可以搞定，但千万级的注册用户和一个设计不好的多对多关系将带来非常严重的性能问题。另外在高UPDATE的情况下，更新一个...
分类：
Web程序 时间：
2014-08-03 15:21:45
阅读次数：
1007
1. Bloom-Filter算法简介Bloom Filter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。它是一个判断元素是否存在于集合的快速的概率算法。Bloom Filter有可能会出现错误判断，但不会漏掉判断。也就是Bloom ...
分类：
其他好文 时间：
2014-08-03 15:01:15
阅读次数：
207
