4.2 Persistence（持久化）
不要畏惧文件系统!
Kafka大量依赖文件系统去存储和缓存消息。对于硬盘有个传统的观念是硬盘总是很慢，这使很多人怀疑基于文件系统的架构能否提供优异的性能。实际上硬盘的快慢完全取决于使用它的方式。设计良好的硬盘架构可以和内存一样快。
在6块7200转的SATA RAID-5磁盘阵列的线性写速度差不多是600MB/s，但是随即写的速度却是...
分类：
其他好文 时间：
2014-07-10 21:59:28
阅读次数：
260
场景说明：在定制根文件系统的时候，我们可以尝试使用LiveCD下LiveOS提供的文件系统，通过修改这个文件系统，然后重新打包的方式，定制一个启动系统。部署这样子的文件系统环境是非常有用的。1）和虚拟机创建一个共享文件夹，方便刻盘使用，当然前提是vmvaretool必须的！！2）..
分类：
其他好文 时间：
2014-07-10 19:22:12
阅读次数：
360
我们知道LVM可以弹性的调整文件系统的大小，其实LVM除了可以调整文件系统的大小之外，还有另一个功能就是系统快照。所谓系统快照就是将某一时刻文件系统中的信息记录到快照区中，这里的某一时刻指的是在原始数据被改变的那一瞬间，原始数据会移到快照区里。而其他没有改变的数..
分类：
系统相关 时间：
2014-07-10 18:46:04
阅读次数：
324
一、客户需求1、需求描述有些客户有自己的存储设备，但是并没有集群文件系统服务，所以如果我们多个节点（计算节点）如果想同时使用其中的一个块且要保证高可用的话，就需要我们自己来完成类似集群文件系统的服务组合，在此我们使用的服务组合是：iscsi共享+drbd+heartbeat+nfs..
分类：
其他好文 时间：
2014-07-10 18:31:52
阅读次数：
418
The Google File System中文版译者：alex摘要我们设计并实现了Google GFS文件系统，一个面向大规模数据密集型应用的、可伸缩的分布式文件系统。GFS虽然运行在廉价的普遍硬件设备上，但是它依然了提供灾难冗余的能力，为大量客户机提供了高性能的服务。虽然GFS的设计目标与许多传...
分类：
其他好文 时间：
2014-07-10 17:02:08
阅读次数：
289
VBS基础篇 - 对象(3) - FileSystemObject对象 文件系统是所有操作系统最重要的部分之一，脚本经常会需要对文件及文件夹进行访问和管理，在Vbs中对桌面和文件系统进行访问的顶级对象是FileSystemObject(FSO)，这个对象特别复杂，是vbs进行文件操作的核心。FSO....
分类：
其他好文 时间：
2014-07-10 17:01:27
阅读次数：
209
【一】HDFS简介 HDFS的基本概念1.1、数据块(block) HDFS(Hadoop Distributed File System)默认的最基本的存储单位是64M的数据块。 和普通文件系统相同的是，HDFS中的文件是被分成64M一块的数据块存储的。 不同于普通文件系统的是，HDFS中，如果一...
分类：
其他好文 时间：
2014-07-10 16:51:14
阅读次数：
304
以下图1是hadoop生态图，通俗的说，就是hadoop核心模块和衍生的子项目。 图 1 Hadoop生态系统图由图可知，hadoop生态系统包括以下成员：① 各种浏览器，产生海量的Web数据；② Nutch项目，一个快速搜索海量网页的开源项目③ HDFS，Hadoop分布式文件系统，大数据的存储系...
分类：
其他好文 时间：
2014-07-10 15:32:23
阅读次数：
189
现在 Hadoop 已经发展成为包含多个子项目的集合。虽然其核心内容是 MapReduce 和Hadoop 分布式文件系统（HDFS），但 Hadoop 下的Common 、Avro、 Chukwa、Hive 、HBase等子项目也是不可或缺的。它们提供了互补性服务或在核心层上提供了更高层的服务。以...
分类：
其他好文 时间：
2014-07-10 14:57:00
阅读次数：
333
