码迷,mamicode.com
首页 > 其他好文 > 详细

HDFS的Trash回收站功能

时间:2016-08-23 23:33:51      阅读:317      评论:0      收藏:0      [点我收藏+]

标签:

文件的删除和恢复

      和Linux系统的回收站设计一样,HDFS会为每一个用户创建一个回收站目录:/user/用户名/.Trash/,每一个被用户通过Shell删除的文件/目录,在系统回收站中都一个周期,也就是当系统回收站中的文件/目录在一段时间之后没有被用户恢复的话,HDFS就会自动的把这个文件/目录彻底删除,之后,用户就永远也找不回这个文件/目录了。在HDFS内部的具体实现就是在NameNode中开启了一个后台线程Emptier,这个线程专门管理和监控系统回收站下面的所有文件/目录,对于已经超过生命周期的文件/目录,这个线程就会自动的删除它们,不过这个管理的粒度很大。另外,用户也可以手动清空回收站,清空回收站的操作和删除普通的文件目录是一样的,只不过HDFS会自动检测这个文件目录是不是回收站,如果是,HDFS当然不会再把它放入用户的回收站中了。

--此处注意:hdfs会为每个用户都建一个回收站,用户删除文件时,文件并不是彻底地消失了,而是mv到了/user/用户名/.Trash/这个文件下,在一段时间内,用户可以恢复这些已经删除的文件。如果用户没有主动删除,那么系统会根据用户设置的时间把文件删除掉(某些默认设置是360分钟,用户也可以自己设置这个删除的时间设置),用户也可以手动清空回收站,这样删除的文件就再也找不回来了。

       根据上面的介绍,用户通过命令行即HDFS的shell命令删除某个文件,这个文件并没有立刻从HDFS中删除。相反,HDFS将这个文件重命名,并转移到操作用户的回收站目录中(如/user/hdfs/.Trash/Current, 其中hdfs是操作的用户名)。如果用户的回收站中已经存在了用户当前删除的文件/目录,则HDFS会将这个当前被删除的文件/目录重命名,命名规则很简单就是在这个被删除的文件/目录名后面紧跟一个编号(从1开始知道没有重名为止)。

        当文件还在/user/hdfs/.Trash/Current目录时,该文件可以被迅速地恢复。文件在/user/hdfs/.Trash/Current中保存的时间是可配置的,当超过这个时间,Namenode就会将该文件从namespace中删除。 文件的删除,也将释放关联该文件的数据块。注意到,在文件被用户删除和HDFS空闲的增加之间会有一个等待时间延迟。 
    当被删除的文件还保留在/user/hdfs/.Trash/Current目录中的时候,如果用户想恢复这个文件,可以检索浏览/user/hdfs/.Trash/Current目录并检索该文件。/user/hdfs/.Trash/Current目录仅仅保存被删除 文件的最近一次拷贝。/user/dfs/.Trash/Current目录与其他文件目录没有什么不同,除了一点:HDFS在该目录上应用了一个特殊的策略来自动删除文件,目前的默认策略是 删除保留超过6小时的文件,这个策略以后会定义成可配置的接口。

      还有,NameNode是通过后台线程(默认是org.apache.hadoop.fs.TrashPolicyDefault.Emptier,也可以通过fs.trash.classname指定TrashPolicy类)来定时清空所有用户回收站中的文件/目录的,它每隔interval分钟就清空一次用户回收站。具体的操作步骤是,先检查用户回收站目录/user/用户名/.Trash下的所有yyMMddHHmm形式的目录,然后删除寿命超过interval的目录,最后将当前存放删除的文件/目录的回收站目录/user/用户名/.Trash/current重命名为一个/user/用户名/.Trash/yyMMddHHmm.

      从这个回收线程(Emptier)的实现可以看出,被用户用命令删除的文件最多可在其回收站中保存2*interval分钟,最少可保存interval分钟,过了这个有效期,用户删除的文件就永远也不可能恢复了。

配置

在每个节点(不仅仅是主节点)上添加配置 /etc/hadoop/conf/core-site.xml,增加如下内容

1

2

3

4

<property>

    <name>fs.trash.interval</name>

    <value>1440</value>

</property>

注意:当用户写程序调用HDFS的API时,NameNode并不会把删除的文件或目录放入回收站Trash中,而是需要自己实现相关的回收站逻辑,见如下的代码

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

29

30

31

32

33

34

35

36

37

38

39

40

41

42

43

44

45

46

47

48

49

50

51

52

53

54

55

56

57

58

59

60

61

62

63

64

import java.io.IOException;

 

import org.apache.commons.logging.Log;

import org.apache.commons.logging.LogFactory;

import org.apache.hadoop.conf.Configuration;

import org.apache.hadoop.fs.FileSystem;

import org.apache.hadoop.fs.Path;

import org.apache.hadoop.fs.Trash;

 

public class RMFile {

    private final static Log log = LogFactory.getLog(RMFile.class);

    private final static Configuration conf = new Configuration();

 

    /**

     * Delete a file/directory on hdfs

     *

     * @param path

     * @param recursive

     * @return

     * @throws IOException

     */

    public static boolean rm(FileSystem fs, Path path, boolean recursive)

            throws IOException {

        log.info("rm: " + path + " recursive: " + recursive);

        boolean ret = fs.delete(path, recursive);

        if (ret)

            log.info("rm: " + path);

        return ret;

 

    }

 

    /**

     * Delete a file/directory on hdfs,and move a file/directory to Trash

     * @param fs

     * @param path

     * @param recursive

     * @param skipTrash

     * @return

     * @throws IOException

     */

    public static boolean rm(FileSystem fs, Path path, boolean recursive,

            boolean skipTrash) throws IOException {

        log.info("rm: " + path + " recursive: " + recursive+" skipTrash:"+skipTrash);

        if (!skipTrash) {

            Trash trashTmp = new Trash(fs, conf);

            if (trashTmp.moveToTrash(path)) {

                log.info("Moved to trash: " + path);

                return true;

            }

        }

        boolean ret = fs.delete(path, recursive);

        if (ret)

            log.info("rm: " + path);

        return ret;

 

    }

 

    public static void main(String[] args) throws IOException {

        conf.set("fs.default.name", "hdfs://data2.kt:8020/");

        FileSystem fs = FileSystem.get(conf);

        RMFile.rm(fs,new Path("hdfs://data2.kt:8020/test/testrm"),true,false);

    }

 

}

注:内容来自互联网并辅以自己的理解,如有侵权,请联系我删除。

示例:执行 Hadoop fs -rm -f /文件路径,将文件删除时,文件并不是直接消失在系统中,而是被从当前目录move到了所属用户的回收站中。保留时间(1440分钟=24小时),24小时内,用户可以去回收站找到这个文件,并且恢复它。24小时过后,系统会自动删除这个文件,于是这个文件彻底被删除了。

技术分享

输入命令:hdfs  dfs -du /user/*

可以找到你的用户相关的回收站文件  /user/fughting/.Trash/Current 文件

输入命令:hdfs  dfs  -rm  -r   /user/fughting/.Trash/Current 就可以清空fighting这个用户的回收站了

 备注:

hadoop fs:使用面最广,可以操作任何文件系统。

hadoop dfs与hdfs dfs:只能操作HDFS文件系统相关(包括与Local FS间的操作),前者已经Deprecated,一般使用后者。

转:http://zzk.cnblogs.com/s?w=HDFS%E5%91%BD%E4%BB%A4%E8%A1%8C%E6%96%87%E4%BB%B6%E6%93%8D%E4%BD%9C&t=b&p=3

HDFS的Trash回收站功能

标签:

原文地址:http://www.cnblogs.com/andy6/p/5801129.html

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!