原创性声明
本文出处为http://blog.csdn.net/zhujunxxxxx/article/details/39251491，版权归作者所有，如需转载请注明作者，出处！
技术背景
淘宝的开源数据库oceanbase 是一个支持海量数据的高性能分布式数据库系统，实现了数千亿条记录、数百TB数据上的跨行跨表事务，由淘宝核心系统研发部开发的。
但是现在oceanbase0.4版本是不...
分类：
其他好文 时间：
2014-12-07 17:51:26
阅读次数：
351
大型网站，比如门户网站，在海量用户访问、高并发请求方面，基本的解决方案是以下几点： ? 1、高性能的数据库(oracle/db2/mysql...) ? 2、高性能的Web容器(weblogic/apache...) ? 3、高效率的编程语言(java/C...
分类：
Web程序 时间：
2014-12-06 14:10:53
阅读次数：
211
1、Redis的介绍和安装部署 NOSQL =》 Not Only SQL NOSQL以key-value形式存储 特点:非关系型、分布式、开源的、水平可扩展 NOSQL: ?数据高并发读写 对海量数据的高效率存储和访问 对数据的搞可扩展性和高可用性 ...
分类：
其他好文 时间：
2014-12-06 06:44:17
阅读次数：
187
前言：
随着计算机网络技术的发展和普及,出现了越来越多像,“淘宝”,”京东”等大型电子商务网站。这类网站都保存有大量图片资源。用户在访问这些站点网页时,网页中图片信息占到页面数据流量的大部分。由于受客户端浏览器限制,无法从一台服务器上同时下载页面中所有图片信息,因此即使服务器有很高带宽,用户的访问速度还是会受到很大影响。由于图片保存在物理硬盘上,访问图片需要频繁进行I/O操作,因此...
分类：
其他好文 时间：
2014-12-05 17:27:01
阅读次数：
322
在SolrCloud采用了持续海量数据索引的方案，然后每日定时调用optimize方法合并索引文件。但在调用optimize的时候没有停止索引写入，导致了索引文件损坏。 Lucene提供了一个自带的索引文件检测工具： 命令如下： ...
分类：
其他好文 时间：
2014-12-05 15:45:55
阅读次数：
177
讲到Spark，我们要先讲将大数据，因为Spark是一个处理大数据的平台。那什么是大数据呢？大数据也称为海量数据，通常都是指TG级、PB级的数据，但是随着时间的流逝和验证，一些人们对大数据也发生了观念上的转变，而...
分类：
其他好文 时间：
2014-12-05 15:41:40
阅读次数：
389
GridFS是一种将大型文件存储在Mongodb数据库中的文件规范。
一、如何实现海量存储
由于Mongodb中的bson对象大小是限制的，所以gridfs规范提供了一种透明的机制，可以将一个大文件分成多个较小的文件。这样的机制允许有效地保存大文件的对象，特别是哪些巨大的文件，比如视频，高清图片；该规范指定了一个将文件分块的标准，每个文件都在集合对象中保存一个元数据对象，一个或多个块对象可被组...
分类：
数据库 时间：
2014-12-05 00:47:53
阅读次数：
209
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理...
分类：
数据库 时间：
2014-12-04 12:21:39
阅读次数：
236
来自友盟的最新数据：中国活跃智能设备已经超过9亿，国内通过4G联网的启动次数比2014年初增长了30倍……可以想象，这些数字的背后，是海量的真实用户，他们或是游戏控、或是动漫迷、90后、社交达人…在这个庞大的移动互联网生态里，开发者对用户数据的需求，不再停留在“数量”..
分类：
其他好文 时间：
2014-12-02 17:32:39
阅读次数：
175
说明：本文是我阅读计算机工程期刊《海量图片的分布式存储及负载均衡研究》一文的学习笔记和具体实践，原文地址在本文底部。一、研究背景：性能与资金，二者可兼得乎？1.1 那么问题来了？ 随着互联网的发展，许多大中型的网站都保存了大量的图片资源，用户在访问这些图片资源异常丰富的网站（如淘宝、京东等电子商务....
分类：
Web程序 时间：
2014-12-02 16:30:55
阅读次数：
440
