解决从本地文件系统上传到HDFS时的权限问题

标签：

当使用 hadoop fs -put localfile /user/xxx 时提示：

put: Permission denied: user=root, access=WRITE, inode="/user/shijin":hdfs:supergroup:drwxr-xr-x

表明：权限不够。这里涉及到两个方面的权限。一个是本地文件系统中localfile 文件的权限，一个是HDFS上 /user/xxx目录的权限。

先看看 /user/xxx目录的权限：drwxr-xr-x   - hdfs supergroup      表示它属于hdfs用户，组名为 supergroup

因此需要使用 sudo -u hdfs hadoop fs -put localfile /user/xxx   来指定使用 hdfs 用户来执行上传命令。参考

当高兴地执行sudo -u hdfs hadoop fs -put localfile /user/xxx  以为能成功上传时，又报错：
put: localfile   No such file or directory   说找不到本地文件localfile，可是用 ls 明明 能看到 localfile ，后来在一篇文章（参考）中发现发来是lcoalfile的权限问题。

因为我现在是使用hdfs用户来执行命令。而hdfs用户对 localfile 是没有相关权限的。此时，问题基本解决了，就是让hdfs 用户对 lcoalfile 有相关权限，（注意目录权限该该目录下文件权限的影响，参考：linux下文件与目录权限关系）

一种简单的解决方法。直接把需要上传的文件复制到/tmp目录下。因为/tmp目录的权限为 rwxrwxrwx。然后执行：

sudo -u hdfs hadoop fs -put localfile /user/xxx   上传成功。

解决从本地文件系统上传到HDFS时的权限问题

标签：

原文地址：http://www.cnblogs.com/hapjin/p/4846853.html