海量数据面试题整理 ? ? 1. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ 方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的...
分类：
Web程序 时间：
2015-01-30 06:44:26
阅读次数：
186
随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天百万级甚至上亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。一、负载均衡技术负载均衡集群是由一组相互独立的计算机系统构成，通过常规网络或专用网络进行连接，由路由器衔...
分类：
数据库 时间：
2015-01-29 17:26:28
阅读次数：
217
我们开发时候经常会遇到统计一些访问日志，访问日志中的url是海量的，并且都是重复的。以url为例，统计url中出现频率次数前5的url，并按出现次数的降序排序，我们可以通过linux sort、uniq、awk、head命令来统计...
分类：
编程语言 时间：
2015-01-29 09:27:01
阅读次数：
167
你有没有这样的体验：急着在百度、WiKi等搜索引擎中找一条信息，查找出海量信息，一页一页翻看却收获甚微，怎么办?有没有一条便捷的途径来帮我们将这些知识梳理、整合、转化为思维结构图? 今天上午，记者从上海交大举行的科研成果新闻发布会上获悉，该校软件学院大三学生施佳鑫带领团队“种植”出一棵“智慧树”。....
分类：
其他好文 时间：
2015-01-28 17:41:50
阅读次数：
175
《用Nginx做NodeJS应用的负载均衡》作者：chszs，转载需注明。博客主页：http://blog.csdn.net/chszs负载均衡可以把用户的请求分摊到多个服务器上进行处理，从而实现了对海量用户的访问支持。负载均衡的架构如图所示：对于复杂的Web应用来说，用Nginx做前端负载均衡是理所当然的事。下面，我们用Nginx做NodeJS应用的负载均衡。1、配置Nginx修改nginx.c...
分类：
Web程序 时间：
2015-01-27 21:54:38
阅读次数：
239
在《mysql插入/更新数据》这篇文章提到，使用LOAD DATA INFILE语句，可以从一个文件直接加载数据到mysql中，但如果文件非常大，可能还需要对文件进行切割，分多次加载，这种情况下，可以使用pt-fifo-split工具将文件分割成多个数据块（chunks），从而控制每次传输到mysq...
分类：
数据库 时间：
2015-01-27 17:44:02
阅读次数：
425
引言近段时间以来，通过接触有关海量数据处理和搜索引擎的诸多技术，常常见识到不少精妙绝伦的架构图。除了每每感叹于每幅图表面上的绘制的精细之外，更为架构图背后所隐藏的设计思想所叹服。个人这两天一直在搜集各大型网站的架构设计图，一为了一饱眼福，领略各类大型网站架构设计的精彩之外，二来也可供闲时反复琢磨体会...
分类：
Web程序 时间：
2015-01-27 12:51:30
阅读次数：
268
1、产品概述
Hive作为大数据时代的数据仓库工具，使我们分析处理海量结构化数据成为可能。越来越多的公司和机构都将Hive作为应对大数据分析的强有力工具。但使用中，比较明显的问题便是当存在多个应用同时使用同一Hive的时候，如何有效控制彼此的数据安全，如何更方便使用Hive UDF的扩展机制。
当然，作为大数据平台开发过程中也同样遇到这些问题。整个公司不同业务方的数据汇聚到数据平台后，对数据的...
分类：
其他好文 时间：
2015-01-27 11:15:53
阅读次数：
192
最近这几天的工作中用到了C++
字符串比较。在一次运行中需要做海量的字符串相等的比较。而且字符串都是3-5字节长度的字符串，在这里在占用了太多的CPU资源。
如何快速比较短字符串，这里也是有方法的。（学习了nginx字符串比较）
首先思路转化，字符串比较在CPU指令中是逐字节比较，比如有”abc”
和“abd”这两个字符串做是否相同的比较。需要执行三次一字节的比较指令。而...
分类：
编程语言 时间：
2015-01-25 16:41:50
阅读次数：
251
MongoDB Auto-Sharding 解决了海量存储和动态扩容的问题，但离实际生产环境所需的高可靠、高可用还有些距离，所以有了"Replica Sets + Sharding"的解决方案。 shard: 使用Replica Sets，确保每个数据节点都具有备份，自动容错转移，自动回复能力。.....
分类：
数据库 时间：
2015-01-24 13:07:58
阅读次数：
374
