在对消息进行存储和缓存时，Kafka依赖于文件系统。（Page Cache）线性读取和写入是所有使用模式中最具可预计性的一种方式，因而操作系统采用预读（read-ahead）和后写（write-behind）技术对磁盘读写进行探测并优化后效果也不错。预读就是提前将一个比较大的磁盘块中内容读入内存，后...
分类：
其他好文 时间：
2015-09-30 06:24:05
阅读次数：
279
一、常见的分布式存储系统目前我们使用的分布式存储方面的应用均是有google的几篇论文演化出来的，下面就是这几篇论文所出现的架构：GoogleFileSystem（大规模分散文件系统）：用于分布式存储MapReduce（大规模分散FrameWork）：用于分布式计算BigTable（大规模分散数据库）：..
分类：
其他好文 时间：
2015-09-30 01:08:37
阅读次数：
294
一、大数据1、什么是大数据大数据是指无法在一定时间内用常规软件工具对其内容进行抓娶管理和处理的数据集合。大数据技术，是指从各种各样类型的数据中，快速获得有价值信息的能力。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分布式文件系统，分布..
分类：
其他好文 时间：
2015-09-30 01:06:59
阅读次数：
309
当使用 hadoop fs -put localfile /user/xxx 时提示：put: Permission denied: user=root, access=WRITE, inode="/user/shijin":hdfs:supergroup:drwxr-xr-x表明：权限不够。这里涉...
分类：
Web程序 时间：
2015-09-29 18:28:32
阅读次数：
235
第一、基础知识MBR引导--内核--内核程序--》协调其它程序一般内核运行在硬件之上，各应用也在硬件之前1）OS的基本功能：文件系统、网络功能、进程管理、内存管理、驱动程序、安全功能以上为通用目的设置的程序。，程序=指令+数据，程序运行在内存当中。这个内存由物理内存映射..
分类：
系统相关 时间：
2015-09-29 16:57:29
阅读次数：
489
AIDE(AdvancedIntrusionDetectionEnvironment)是一款针对文件和目录进行完整性对比检查的程序，它被开发成Tripwire的一个替代品。AIDE如何工作这款工具年纪也不小了，相对来同类工具Tripwire说，它的操作也更加简单。它需要对系统做快照，记录下HASH值，修改时间，以及管理员对..
分类：
其他好文 时间：
2015-09-29 15:02:34
阅读次数：
145
Btrfs相关介绍：Btrfs是一个Linux中的新的写时复制(copy-on-write(COW))的文件系统，目的是实现高级功能的同时着重与容错功能，修复功能以及易于管理。目前由Oracle,RedHat,富士通,Intel,SUSE以及其他组织共同开发，在GPL许可证下发行，同时向任何人公开代码。Btrfs核心特性：..
分类：
系统相关 时间：
2015-09-29 15:00:30
阅读次数：
412
而对于一些场景，比如虚拟机活动镜像的存储，或者说虚拟机硬盘文件的存储，还有大数据处理等场景，对象存储就显得捉襟见肘了。而文件系统在这些领域有突出的表现，比如Nutanix的NDFS（Nutanix Distributed Filesystem）和VMware的VMFS（VMware Filesystem）在虚拟机镜像存储方面表现很出色，Google文件系统GFS及其开源实现HDFS被广泛用于支撑基...
分类：
其他好文 时间：
2015-09-29 14:50:35
阅读次数：
298
目前 Linux 下有一些使用 Python 语言编写的 Linux 系统监控工具 比如 inotify-sync（文件系统安全监控软件）、glances（资源监控工具）等，在实际工作中，Linux 系统管理员可以根据自己使用的服务器的具体情况编写一下简单实用的脚本实现对 Linux 服务器的监控。...
分类：
编程语言 时间：
2015-09-29 14:28:24
阅读次数：
296
1、初步了解Btrfs系统是一个有oracle研发的文件系统类型，目的在于取代ext系列的文件系统。随着网络快速发展，ext系统的文件系统确实在很多方面已经不能很好满足需要。核心特性：多物理卷支持：btrfs可由多个底层物理卷组成；支持RAID，以联机“添加”、“移除”，“修改”；写..
分类：
系统相关 时间：
2015-09-29 01:22:10
阅读次数：
493
