《大 数据技术丛书：Hadoop应用开发技术详解》共12章。第1～2章详细地介绍了Hadoop的生态系统、关键技术以及安装和配置；第3章是 MapReduce的使用入门，让读者了解整个开发过程；第4～5章详细讲解了分布式文件系统HDFS和Hadoop的文件I/O；第6章分析了 MapReduce的工...
分类：
其他好文 时间：
2014-07-24 11:25:42
阅读次数：
337
最近在写一些hadoop的运维工具，考虑到hadoop本身是java编写的，api比较方便，可以直接拿来就用准备用java来写。今天测试了几个fs相关的类。主要有FileStatus,FileSystem,DistributedFileSystem,DatanodeInfo,BlockLocationFileStatus是和文件的属性相关的类，比如文件的名称，..
分类：
编程语言 时间：
2014-07-24 10:49:36
阅读次数：
303
mount()的最后一个参数data是传给文件系统解释的，有兴趣可以跟踪一下系统调用mount的流程（以vfat为例）：sys_mount()-->do_mount()-->do_add_mount()-->do_kern_mount()-->do_kern_mount()-->get_sb_bde...
分类：
其他好文 时间：
2014-07-24 10:18:13
阅读次数：
281
每个项目的都有各自的场景，但是其实往小处说，场景的处理基本都是很相似，之前做copy文件的程序，其实就是一种很常见的ETL的过程(转移文件，异构系统通过文件系统交换数据，存在数据同步)。了解一下ETL：就是数据转移的一个处理过程（A库与B库之间进行数据抽取）---最重要就是格式的转换。了解一下ESB...
分类：
其他好文 时间：
2014-07-24 09:45:22
阅读次数：
256
我们平常对磁盘分区格式化的时候有时无法格式化，报告的信息为：“/dev/sdb3isapparentlyinusebythesystem;willnotmakeafilesystemhere!”意思是说：似乎系统正在使用该设备，无法创建文件系统。使用【mount】查看系统的所有挂载设备，也没有:/dev/sdb3.但是，创建文件系统的时..
分类：
其他好文 时间：
2014-07-23 21:30:46
阅读次数：
654
Linux系统相关几个命令使用last查看用户成功登录信息/var/log/wtmp文件记录了用户成功登录的信息。使用last可以查看lastb查看用户不成功登录的信息who查看已登录的用户w查看登录用户的活动e2label查看或更改分区卷标e2label命令可以用来查看或修改ext2/ext3分区的卷标。语法为..
分类：
系统相关 时间：
2014-07-23 21:16:46
阅读次数：
529
一、mysql备份类型1、按照mysql服务器状态cold离线备份，读、写操作均中止warm仅可执行读操作hot读、写操作不受影响2、按照数据一致性consistentinconsistent3、按照备份数据格式logical备份sql语句，在恢复的时候执行备份的sql语句实现数据库数据的重现physical文件系统层面直..
分类：
数据库 时间：
2014-07-23 21:16:27
阅读次数：
287
一个简单的文件系统过滤驱动，抛去了大部分细节，留下了一个简单的框架，其实文件系统过滤驱动蛮简单的，很多接口可以不用实现，只要知道大致流程，其它都将会很清晰。...
分类：
其他好文 时间：
2014-07-23 17:20:31
阅读次数：
356
文件与(或)目录是文件系统的具体表现形式，在Linux系统管理部分，文件与目录管理映射了Linux文件系统管理策略的重要方面
分类：
系统相关 时间：
2014-07-23 16:21:41
阅读次数：
448
1、多道批处理系统的核心技术作业管理:作业的现场保护和恢复、处理机管理、存储管理、设备管理、文件系统管理(file system)2、分时操作系统技术基础：时钟、中断技术3、主存-后援存储方式后援的存储速度是介于主存与硬盘之间的。是分时系统的一个重要的技术。正在执行的作业的存放在主存上，等待时间片的...
分类：
其他好文 时间：
2014-07-23 16:18:11
阅读次数：
266
