hadoop的核心分为两块，一是分布式存储系统-hdfs，这个我已经在上一章节大致讲了一下，另一个就是hadoop的计算框架-mapreduce。 mapreduce其实就是一个移动式的基于key-value形式的分布式计算框架。 其计算分为两个阶段，map阶段和reduce阶段，都是对数据的处.....
分类：
其他好文 时间：
2014-12-22 10:40:34
阅读次数：
238
1 简介将内存作为首要存储介质不是什么新鲜事儿，我们身边有很多主存数据库(IMDB或MMDB)的例子。在对主存的使用上，内存数据网格(In Memory Data Grid，IMDG)与IMDB类似，但二者在架构上完全不同。IMDG特性可以总结为以下几点：Ø 数据是分布式存储在多台服务器上的。Ø 每台服务器都是active模式。Ø 数据模型通常是面向对象和非关系型的。Ø 根据需要，经常会增...
分类：
其他好文 时间：
2014-12-21 22:14:21
阅读次数：
659
柯南君的公司最近产品即将上线，由于产品业务对图片的需求与日俱增，花样百出，与此同时，在大数据时代，大流量的冲击下，对图片服务器的压力可想而知，那么今天，柯南君结合互联网的相关热文，加上自己的一点实践经验，与君探讨，与君共勉！
一、图片服务器的重要性
当前，不管哪一家网站（包括 电商行业、O2O行业、互联网行业等），不管哪一种渠道 （包括 web端，APP端甚至一些SNS应用），在大数据时代下，...
分类：
其他好文 时间：
2014-12-20 18:19:57
阅读次数：
136
高并发访问的核心原则其实就一句话“把所有的用户访问请求都尽量往前推”。如果把来访用户比作来犯的"敌人"，我们一定要把他们挡在800里地以外，即不能让他们的请求一下打到我们的指挥部（指挥部就是数据库及分布式存储）。 如：能缓存在用户电脑本地的，就不要让他去访问CDN。 能缓存CDN服务器上的，就不要让...
分类：
Web程序 时间：
2014-12-18 01:38:21
阅读次数：
225
再理解HDFS的存储机制
1. HDFS开创性地设计出一套文件存储方式，即对文件分割后分别存放；
2. HDFS将要存储的大文件进行分割，分割后存放在既定的存储块（Block）中，并通过预先设定的优化处理，模式对存储的数据进行预处理，从而解决了大文件储存与计算的需求；
3. 一个HDFS集群包括两大部分，即NameNode与DataNode。一般来说，一个集群中会有一个NameNode和多个DataNode共同工作；
4. NameNode是集群的主服务器，主要是用于对HDFS中所有的文件及...
分类：
其他好文 时间：
2014-12-15 10:34:06
阅读次数：
149
HBase配置和使用文档
HBase配置和使用文档......................................................................................................
1
一、 HBase原理和结构说明...................................................
分类：
其他好文 时间：
2014-12-14 21:24:13
阅读次数：
261
MongoDB是一款非常常用的面向文档型非关系数据库，主要应用在微博、博客、IM等的消息存储业务中，由于存储的数据与金融等行业比起来并不是那么重要，而且对事务也没什么要求，所以在这种场景下，MongoDB要比关系型数据库更适合，因为传统的关系型数据库的每次操作都会有ACK，而MongoDB的设计去掉了这个步骤，大大提高了存储的性能，而且MongoDB的设计考虑了设备故障经常出现的场景，所以在设计时...
分类：
数据库 时间：
2014-12-11 22:35:41
阅读次数：
2392
HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。
HBase是Google Bigtable的开源实现，类似Google Bigtable利用GFS作为其文件存储系统，HBase利用Hadoop HDFS作为其文件存储系统；Google运行MapReduce来处理...
分类：
数据库 时间：
2014-12-04 12:21:39
阅读次数：
236
说明：本文是我阅读计算机工程期刊《海量图片的分布式存储及负载均衡研究》一文的学习笔记和具体实践，原文地址在本文底部。一、研究背景：性能与资金，二者可兼得乎？1.1 那么问题来了？ 随着互联网的发展，许多大中型的网站都保存了大量的图片资源，用户在访问这些图片资源异常丰富的网站（如淘宝、京东等电子商务....
分类：
Web程序 时间：
2014-12-02 16:30:55
阅读次数：
440
经过不停止的查找相关资料，基本上实现DHT网络的基本操作。现记录下来，供以后参考。
协议
Kad定义了节点之间的交互协议。这些协议支撑了整个DHT网络里信息分布式存储的实现。这些协议都是使用UDP来传送。其协议格式使用一种称为bencode的编码方式来编码协议数据。bencode是一种文...
分类：
其他好文 时间：
2014-11-28 15:42:37
阅读次数：
164
