码迷,mamicode.com
首页 > 其他好文 > 详细

Hadoop常用命令

时间:2015-08-28 11:11:42      阅读:490      评论:0      收藏:0      [点我收藏+]

标签:hadoop   fs   hdfs   du   

【fs最常用命令】

bin/hadoop fs -ls hdfs_path                   //查看HDFS目录下的文件和子目录
bin/hadoop fs -mkdir hdfs_path                //在HDFS上创建文件夹
bin/hadoop fs -rm hdfs_path                   //删除HDFS上的文件
bin/hadoop fs -rmr hdfs_path                  //删除HDFS上的文件夹
bin/hadoop fs -put local_file hdfs_path      //将本地文件copy到HDFS上
bin/hadoop fs -get hdfs_file local_path      //复制HDFS文件到本地
bin/hadoop fs -cat hdfs_file                  //查看HDFS上某文件的内容

【查看目录下文件(夹)大小】

//单位Byte:
bin/hadoop fs -du / | sort -n
//单位MB:
bin/hadoop fs -du / | awk -F ‘ ‘  ‘{printf "%.2fMB\t\t%s\n", $1/1024/1024,$2}‘ | sort -n
//单位GB,大于1G:
bin/hadoop fs -du / | awk -F ‘ ‘  ‘{num=$1/1024/1024/1024; if(num>1){printf "%.2fGB\t\t%s\n", num, $2} }‘ | sort -n



*** walker ***

本文出自 “walker的流水账” 博客,请务必保留此出处http://walkerqt.blog.51cto.com/1310630/1689205

Hadoop常用命令

标签:hadoop   fs   hdfs   du   

原文地址:http://walkerqt.blog.51cto.com/1310630/1689205

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!