1 卡夫卡消息队列简介1.1 消息队列1.1.1 基本特性可扩展在不需要下线的情况下进行扩容数据流分区(partition)存储在多个机器上高性能单个broker就能服务上千客户端单个broker每秒种读/写可达每秒几百兆字节多个brokers组成的集群将达到非常强的吞吐能力性能稳定，无论数据多大持久存储存储在磁盘上冗余备份到其他服务器上以防止丢失1.1.2 消息格式一个topic对应一种消息格式...
分类：
其他好文 时间：
2015-09-02 11:58:48
阅读次数：
189
Kafka 是分布式发布-订阅消息系统。它最初由 LinkedIn 公司开发，之后成为 Apache 项目的一部分。Kafka 是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要在各个子系统中...
分类：
其他好文 时间：
2015-06-30 17:47:57
阅读次数：
121
在生产中我们一般希望文件系统能帮我们解决以下问题，如：1.超大数据存储；2.数据高可用（冗余备份）；3.读/写高性能；4.海量数据计算。最好还得支持多平台多语言，支持高并发。 由于单台服务器无法满足以上要求，...
分类：
其他好文 时间：
2015-04-18 11:39:52
阅读次数：
128
分布式消息系统：KafkaKafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务。它主要用于处理活跃的流式数据。在大数据系统中，常常会碰到一个问题，整个大数据是由各个子系统组成，数据需要...
分类：
其他好文 时间：
2015-04-03 12:57:02
阅读次数：
199
之前客户总部与分公司之间通过单模光纤收发器进行连接。为了达到冗余备份的目的，总部和分公司之前又增加了一条链路，形成双链路。但在实施的时候发现，新增加的链路通过万兆单模模块进行连接可以正常连通，数据传输正常，而原来的那条链路在接上万兆模块之后两端不通！！原来..
分类：
其他好文 时间：
2015-03-16 19:41:33
阅读次数：
171
一、问题描述由于namenode 是HDFS的大脑，而这个大脑又是单点，如果大脑出现故障，则整个分布式存储系统就瘫痪了。HA（High Available）机制就是用来解决这样一个问题的。碰到这么个问题，首先本能的想到的就是冗余备份，备份的方式有很多种，前辈们设计的有元数据备份方案，secondar...
分类：
其他好文 时间：
2015-03-11 00:35:32
阅读次数：
211
CCNA实验十四STP之冗余备份链路（EtherChannel）环境：WindowsXP、GNS3.0.7、VPCS.exe目的：学习如何配置冗余备份链路。步骤：1、打开GNS创建下面工程：说明：(1)首先要为SW1和SW2两台虚拟设备添加交换模块(2)记下两台设备的console端口号：SW1:2002，SW2:2003(3)配置PC1和PC2..
分类：
其他好文 时间：
2015-02-27 18:39:25
阅读次数：
222
HDFS概念1 数据块*HDFS的一个数据块默认是64M，与元数据分开管理。优点： 数据块的大小设计的较大，所以寻址占传输的时间比例较小，只需要计算传输速度即可。 便于简化管理，利于计算剩余空间、冗余备份（默认三个） 与元数据分开管理，保持他本身无属性的特性。2 nameNode,Dat...
分类：
其他好文 时间：
2015-02-20 14:06:39
阅读次数：
154
冗余备份概念 RMAN提供了一种更谨慎的备份策略：duplexed方式备份，其实质就是在生成备份集的同时，向指定位置copy指定份数（最大不超过4）的备份集复制，以避免在灾难性事故时数据库损坏和备份丢失的情况下导致完全崩溃，提高备份可用性。RMAN有三种方式的duplexed备份。 在RMAN中.....
分类：
其他好文 时间：
2015-02-14 12:14:41
阅读次数：
159
1、存储节点
在分布式文件系统中，所有的文件都存储在存储节点（Storage Node）中。一个存储节点一般对应屋里磁盘的一个实际目录。我们用多台服务器创建多个存储节点，文件就会在这些存储节点之间根据规则进行自动复制。另外，我们也可以在同一台物理机上创建多个存储节点，指向不同的磁盘空间，实现了一定程度的冗余备份，和RAID机制有点类似。
2、追踪器
追踪器负责客户端和存储节点之...
分类：
其他好文 时间：
2015-01-14 14:23:55
阅读次数：
135
