既然HDFS 是存取数据的分布式文件系统，那么对HDFS的操作，就是对文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS 的操作命令类似于Linux 的shell 对文件的操作，只是在HDFS中，hadoop fs是主命令，其他像ls,mv,cp都是...
分类：
其他好文 时间：
2014-07-16 23:04:42
阅读次数：
372
操作系统的文件系统是操作系统用于明确磁盘或分区上的文件的方法和数据结构；即在磁盘上组织文件的方法。文件系统的格式大致有如下：FATPC机使用的文件系统是FAT16。像基于MS-DOS，Win 95等系统都采用了FAT16文件系统。后来在Win 98开始推出了增强的文件系统FAT32。同FAT16相比...
分类：
其他好文 时间：
2014-07-16 21:25:39
阅读次数：
228
Linux文件名称的长度限制是255个字符windows下全然限定文件名称必须少于260个字符，文件夹名必须小于248个字符。linux下文件数、文件夹数、文件名称长度的各种限制 下面測试都是在没有优化或改动内核的前提下測试的结果1. 測试目的：ext3文件系统下filename最大字符长度 測试平...
Spark Standalone模式常见的HA部署方式有两种：基于文件系统的HA和基于ZK的HA本篇只介绍基于ZK的HA环境搭建：$SPARK_HOME/conf/spark-env.sh添加SPARK_DAEMON_JAVA_OPTS的配置信息：export SPARK_DAEMON_JAVA_O...
分类：
其他好文 时间：
2014-07-16 20:27:12
阅读次数：
187
上一篇Django模板3最后的问题，我们需要把数据和展现分离开。你可能首先考虑把模板保存在文件系统的某个位置并用 Python 内建的文件操作函数来读取文件内容。 假设文件保存在E:\djangosite\mysite\mysite\templates\tempTime.html中的话，代码就会像下...
分类：
其他好文 时间：
2014-07-16 19:56:22
阅读次数：
274
4.2 Persistence（持久化）
不要畏惧文件系统!
Kafka大量依赖文件系统去存储和缓存消息。对于硬盘有个传统的观念是硬盘总是很慢，这使很多人怀疑基于文件系统的架构能否提供优异的性能。实际上硬盘的快慢完全取决于使用它的方式。设计良好的硬盘架构可以和内存一样快。
在6块7200转的SATA RAID-5磁盘阵列的线性写速度差不多是600MB/s，但是随即写的速度却是...
分类：
其他好文 时间：
2014-07-10 21:59:28
阅读次数：
260
场景说明：在定制根文件系统的时候，我们可以尝试使用LiveCD下LiveOS提供的文件系统，通过修改这个文件系统，然后重新打包的方式，定制一个启动系统。部署这样子的文件系统环境是非常有用的。1）和虚拟机创建一个共享文件夹，方便刻盘使用，当然前提是vmvaretool必须的！！2）..
分类：
其他好文 时间：
2014-07-10 19:22:12
阅读次数：
360
我们知道LVM可以弹性的调整文件系统的大小，其实LVM除了可以调整文件系统的大小之外，还有另一个功能就是系统快照。所谓系统快照就是将某一时刻文件系统中的信息记录到快照区中，这里的某一时刻指的是在原始数据被改变的那一瞬间，原始数据会移到快照区里。而其他没有改变的数..
分类：
系统相关 时间：
2014-07-10 18:46:04
阅读次数：
324
一、客户需求1、需求描述有些客户有自己的存储设备，但是并没有集群文件系统服务，所以如果我们多个节点（计算节点）如果想同时使用其中的一个块且要保证高可用的话，就需要我们自己来完成类似集群文件系统的服务组合，在此我们使用的服务组合是：iscsi共享+drbd+heartbeat+nfs..
分类：
其他好文 时间：
2014-07-10 18:31:52
阅读次数：
418
