新兵训练营系列课程——海量数据存储基础 2015年8月12日 09:24?阅读 16831 ? ? 微博平台研发作为微博的底层数据及业务支撑部门，已经经历了5年的发展历程。伴随着从数据及业务暴发式增长，我们在海量数据存储方...
分类：
其他好文 时间：
2015-08-13 18:26:18
阅读次数：
252
HDFS原理
HDFS（Hadoop Distributed File System）是一个分布式文件系统，是谷歌的GFS山寨版本。它具有高容错性并提供了高吞吐量的数据访问，非常适合大规模数据集上的应用，它提供了一个高度容错性和高吞吐量的海量数据存储解决方案。
高吞吐量访问：HDFS的每个Block分布在不同的Rack上，在用户访问时，HDFS会计算使用最近和访问量最小的服务器给用户提...
分类：
其他好文 时间：
2015-08-12 13:21:12
阅读次数：
110
一）大型网站软件系统特点：
1）高并发、大流量：想想每年双十一
2）高可用：7*24小时不间断服务
3）海量数据：存储管理海量数据
4）用户分布广泛，网络情况复杂
5）安全环境恶劣：黑客，黑客，黑客
6）需求快速变更，发布频繁：快速适应市场，满足用户需求
7）渐进式发展：大型网站都是从小网站开始的二）大型网站架构演化过程
1）初始阶段网站架构：应用程序、数据库、文件等所有资源都集中在...
分类：
Web程序 时间：
2015-07-25 23:03:10
阅读次数：
260
Redis与Memcached的区别传统MySQL+ Memcached架构遇到的问题 实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题： 1.MyS...
分类：
系统相关 时间：
2015-07-14 13:05:26
阅读次数：
349
实时查询方案HBase+Solr+HBase-Indexer
1、HBase提供海量数据存储
2、solr提供索引构建与查询
3、HBase indexer提供自动化索引构建（从HBase到Solr）实时查询方案HBase Indexerhttps://github.com/NGDATA/hbase-indexer教程
https://github.com/NGDATA/hbase-inde...
分类：
其他好文 时间：
2015-07-12 17:25:13
阅读次数：
150
1. MySql+Memcached架构的问题 实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题： 1.MySQL需要不断进行拆库拆表，Memca.....
分类：
其他好文 时间：
2015-06-29 00:23:43
阅读次数：
140
Hadoop的两大功能：海量数据存储和海量数据分析
Hadoop2的三大核心组件是：HDFS、MapperReducer和yarn
1、HDFS：分布式文件系统海量数据存储
2、MapperReducer：运算框架，海量数据分析
3、yarn：资源调度管理集群
HDFS工作机制：基于namenode和datanode
1、namenode:响应客户端的请求；负责维护整个...
分类：
其他好文 时间：
2015-06-27 16:40:29
阅读次数：
203
读书笔记，摘自《大型网站技术架构》一书1.大型网站软件系统的特点与传统企业应用系统相比，大型互联网应用系统有以下特点。高并发，大流量：比如QQ,Google,Taobao高可用:系统要提供7X24小时不间断服务，不能宕机。海量数据：存储管理海量数据。用户分布广泛，网络情况复杂：服务全球，用户分不广。...
分类：
Web程序 时间：
2015-05-29 15:16:32
阅读次数：
107
传统MySQL+ Memcached架构遇到的问题 实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业务数据量的不断增加，和访问量的持续增长，我们遇到了很多问题： 1.MySQL需要不断进行拆库拆表，Mem.....
分类：
其他好文 时间：
2015-05-19 12:38:48
阅读次数：
162
摘自：http://www.infoq.com/cn/articles/tq-why-choose-redis传统MySQL+ Memcached架构遇到的问题实际MySQL是适合进行海量数据存储的，通过Memcached将热点数据加载到cache，加速访问，很多公司都曾经使用过这样的架构，但随着业...
分类：
其他好文 时间：
2015-05-15 17:19:51
阅读次数：
92
