既然HDFS 是存取数据的分布式文件系统，那么对HDFS的操作，就是对文件系统的基本操作，比如文件的创建、修改、删除、修改权限等，文件夹的创建、删除、重命名等。对HDFS 的操作命令类似于Linux 的shell 对文件的操作，只是在HDFS中，hadoop fs是主命令，其他像ls,mv,cp都是...
分类：
其他好文 时间：
2014-07-16 23:04:42
阅读次数：
372
操作系统的文件系统是操作系统用于明确磁盘或分区上的文件的方法和数据结构；即在磁盘上组织文件的方法。文件系统的格式大致有如下：FATPC机使用的文件系统是FAT16。像基于MS-DOS，Win 95等系统都采用了FAT16文件系统。后来在Win 98开始推出了增强的文件系统FAT32。同FAT16相比...
分类：
其他好文 时间：
2014-07-16 21:25:39
阅读次数：
228
Linux文件名称的长度限制是255个字符windows下全然限定文件名称必须少于260个字符，文件夹名必须小于248个字符。linux下文件数、文件夹数、文件名称长度的各种限制 下面測试都是在没有优化或改动内核的前提下測试的结果1. 測试目的：ext3文件系统下filename最大字符长度 測试平...
Spark Standalone模式常见的HA部署方式有两种：基于文件系统的HA和基于ZK的HA本篇只介绍基于ZK的HA环境搭建：$SPARK_HOME/conf/spark-env.sh添加SPARK_DAEMON_JAVA_OPTS的配置信息：export SPARK_DAEMON_JAVA_O...
分类：
其他好文 时间：
2014-07-16 20:27:12
阅读次数：
187
上一篇Django模板3最后的问题，我们需要把数据和展现分离开。你可能首先考虑把模板保存在文件系统的某个位置并用 Python 内建的文件操作函数来读取文件内容。 假设文件保存在E:\djangosite\mysite\mysite\templates\tempTime.html中的话，代码就会像下...
分类：
其他好文 时间：
2014-07-16 19:56:22
阅读次数：
274
Linux磁盘与文件系统管理我知问答如何列出所有磁盘分区信息？ cat /proc/partitions或者可以： ll /dev/sda* ;列出 ll /dev/sdb*1.首先我们需要熟悉inode，block，和superblock他们的含义和其关系每个...
分类：
系统相关 时间：
2014-07-16 19:50:40
阅读次数：
354
1.1 Samba 概述Samba主要用于Windows和Linux之间的文件共享，也一样用于Linux和Linux之间的共享文件；不过对于Linux和Linux之间共享文件有更好的网络文件系统NFS，NFS也是需要架设服务器的。我们可以通过samba架设一个功能非常强大的文件服务器，也可以将其架设...
分类：
其他好文 时间：
2014-07-16 19:50:08
阅读次数：
170
文件与文件系统的压缩与打包基本压缩命令1. gzip 可以说是应用最广的压缩命令了。而bzip2则是为了取代gzip并提供更好的压缩比。在压缩的时候，使用bzip2的功能更加强大，能够保存原文件，而gzip是不能做到的gzip [-cdtv#] 文件名bzip2 [-cdkzv#] 文件名2.对于压...
分类：
其他好文 时间：
2014-07-13 11:01:20
阅读次数：
179
对于hadoop HDFS 中的所有命令进行解析（其中操作流程是自己的想法有不同意见欢迎大家指正）
接口名称
功能
操作流程
get
将文件复制到本地文件系统 。如果指定了多个源文件，本地目的端必须是一个目录。
（1）按照上述机制，在Config server上的存储引擎中逐层读取K-V，直到获得文件名（或大文件元数据...
分类：
其他好文 时间：
2014-07-12 22:25:59
阅读次数：
389
宿主机：
Ubuntu13.10
gcc-4.3.1
目标机：s3c2440
交叉编译器：arm-linux-gcc-4.3.2
要移植的内核版本：linux-2.6.26
文件系统： yaffs2
准备知识：
Linux支持多种平台架构。在其源码的arch目录下，已经将各种支持的平台架构的源码分门别类。为了配置方便，在各种平台架构的目录下，一般都配有一个名为...
分类：
系统相关 时间：
2014-07-12 22:11:43
阅读次数：
421
