题目描述
给你一个文件，里面包含40亿个整数，写一个算法找出该文件中不包含的一个整数， 假设你有1GB内存可用。
如果你只有10MB的内存呢？...
分类：
其他好文 时间：
2014-08-11 00:26:01
阅读次数：
261
从hadoop框架与MapReduce模式中谈海量数据处理前言 几周前，当我最初听到，以致后来初次接触Hadoop与MapReduce这两个东西，我便稍显兴奋，认为它们非常是神奇，而神奇的东西常能勾起我的兴趣，在看过介绍它们的文章或论文之后，认为Hadoop是一项富有趣味和挑战性的技术，且它还牵扯到...
分类：
其他好文 时间：
2014-08-09 18:40:08
阅读次数：
297
项目中对关系型数据库的接入再寻常不过，也有海量的ORM工具可供选择，一个一般性的DAL数据接入层的结构却大同小异，这里就分享一下使用Hibernate、Spring、Hessian这三大工具对DAL层的具体实现方法，也是对之前使用的一个总结。
分类：
其他好文 时间：
2014-08-08 21:14:26
阅读次数：
324
问题实例：海量日志数据，提取出某日访问百度次数最多的那个IP。答：对于ip,最多也就2^32个。所以可以很好地通过hash函数映射到内存中，再进行统计。原理简述：hash的基本原理网上也已经很多了，下面简单提一下。在ssh协议加密中，sha-1就是通过哈希来进行的。哈希就是将一个字符串或者其他数字之...
分类：
其他好文 时间：
2014-08-07 22:50:15
阅读次数：
290
例题：给定两个大文件，各含有50亿条url，要求利用4G内存快速找出共同的url解答：假设两个文件为A和B，4G内存有32G位，可以表示5G的url。本文采用bloom filter解答：首先简单介绍一下bloom filter的思想，其核心是：位数组；K个hash函数。通过对大量数据处理，通过k个...
分类：
其他好文 时间：
2014-08-07 21:49:20
阅读次数：
183
1 定义hadoop是一个分布式系统架构。2 基本模块HDFS为海量数据提供了存储。Map/Reduce为海量数据提供了计算。3 子项目Hadoop Common: 在0.20及以前的版本中，包含HDFS、MapReduce和其他项目公共内容，从0.21开始HDFS和MapReduce被分离为独立的...
分类：
其他好文 时间：
2014-08-07 15:40:30
阅读次数：
239
一、SpringBatch简介
Spring Batch是一个轻量级的批处理框架, 可以用于企业级海量数据处理, 它提供以下技术解决方案:
1. 定时批处理
2. 大规模并行处理
3. 企业消息驱动处理
二、SpringBatch结构
Spring Batch由应用层、核心层、基础架构层等组成:
1. 应用层: 包含所有的批处理作业,...
分类：
编程语言 时间：
2014-08-06 23:01:42
阅读次数：
477
程序员应该要爱惜生命，做有用有意义的事情。做有用的事情，有两种方式，一、做一个对用户真正有价值的项目，这个项目是真正有意义有用的；二、朝正确的方向以正确的方式做项目。但是程序员会遇到很多失败的项目，这些系统要么是没有人用没有真正价值，要么是以不正确的方式做项目，使用不当的技术，例如，用报表工具代替查询、用ESB企业总线当作海量数据传输用，或者做一些没有实际用途的功能，如做一个万能的用户自定义查询系...
分类：
其他好文 时间：
2014-08-06 19:00:22
阅读次数：
236
阿里云计算的ODPS从内部使用的工具变成了面向社会开放的大数据平台，开创了国内大数据公共服务的先河，降低了大数据在资金、人才和应用方面的门槛。小型企业只要花费几百元就能进行海量数据分析，这是真的吗?阿里云计算的大数据平台ODPS可以让你梦想成真。今年举行的阿里巴巴大..
分类：
其他好文 时间：
2014-08-04 18:11:18
阅读次数：
292
今天来说说hadoop的一大核心——HDFS，这个是很重要的，它呢，是分布式文件系统。为什么说hadoop能存储海量数据？其实主要还是依赖与hdfs的能力，主要依赖的是hdfs能存储海量数据。
1、 为什么hdfs能存储海量数据呢？
一开始抛出这样的问题来想想。至于HDFS的基本概念什么的都不用多说了的~我们重在使用，而不是去做“研究”。扯蛋的话就是，“专家的研究”已经成为名副其实的贬义词了，...
分类：
其他好文 时间：
2014-08-03 18:09:05
阅读次数：
332
