码迷,mamicode.com
首页 > 其他好文 > 详细

使用Hadoop ACL 控制访问权限

时间:2015-06-03 21:44:16      阅读:192      评论:0      收藏:0      [点我收藏+]

标签:hadoop

使用Hadoop ACL 控制访问权限

一、HDFS访问控制

hdfs-site.xml设置启动acl

<property> 
<name>dfs.permissions.enabled</name> 
<value>true</value> 
</property> 

<property> 
<name>dfs.namenode.acls.enabled</name> 
<value>true</value> 
</property> 

core-site.xml设置用户组默认权限.

<property>
<name>fs.permissions.umask-mode</name>
<value>002</value>
</property>

各需求和解决办法如下:

  • 1.除了数据仓库负责人,普通用户不能创建数据库,也不能在默认库中创建表.
    /user/hive/warehouse的默认权限改为755,所有者是hadoop(或者数据仓库负责人),那么没有人能创建数据库,也不能在默认库中创建表.

  • 2.数据仓库负责人创建数据库之后,可以分配给项目组,该项目组可以在此数据库建立表.
    /user/hive/warehouse/数据库.db的所有者改为项目组.

  • 3.数据仓库负责人创建数据库之后,不把创建表的权限分给项目组,而为其创建表,只允许项目组插入分区.
    数据仓库负责人继续保持/user/hive/warehouse/数据库.db的权限,项目组不能建立表,数据仓库负责人为项目组创建表之后,把表所在的目录分给项目组.

  • 4.某些表只能本项目组读写.
    /user/hive/warehouse/数据库.db/表名所在的目录改为770 .

  • 5.某些表只能本项目组的特殊用户读写.
    /user/hive/warehouse/数据库.db/表名所在的目录的所有者改为此用户,并且权限改为700 .

  • 6.项目组的表,需要其它组的特别用户插入数据.
    使用以下的命令可以mapngxu对dntest.db的表testp1有写权限 hdfs dfs -setfacl -R -m user:mapengxu:rwx /user/hive/warehouse/cdntest.db/testp1

  • 7.项目组的表,需要其它组的特别用户有读到数据的权限.
    hdfs dfs -setfacl -R -m user:mapengxu:r-x /user/hive/warehouse/cdntest.db/testp1

  • 8.项目组的表,需要其它组的所有用户有读到数据的权限.
    hdfs dfs -setfacl -R -m group:data_sum:r-x /user/hive/warehouse/cdntest.db/testp1

  • 9.创建默认数据库,此数据库所有用户都有创建 表的权限,但只保存30天.
    /user/hive/warehouse/数据库.db的权限改为777,并且设置定时任务扫描该目录及hive数据库。如果有创建时间超过30天的表,删除表及所在目录。

  • 10.该措施和基础SQL的访问控制结合。

任务调度

按用户组管理队列,在入口机和jenkins权限统一,按所在组分配资源,方便按项目组统计各项目组每天,每周占用多少集群资源. mapred-site.xml配置如下:
<property> 
<name>mapred.acls.enabled</name> 
<value>true</value> 
</property> 
<property> 
<name>mapred.fairscheduler.poolnameproperty</name> 
<value>group.name</value> 
</property> 
fair-scheduler.xml配置如下:

<?xml version="1.0"?> 
<allocations> 

<pool name="cdn"> 
<maxResources>1000 vcores</maxResources> 
<maxRunningJobs>10</maxRunningJobs> 
<weight>1.0</weight> 
<schedulingPolicy>fair</schedulingPolicy> 
</pool> 
<pool name="data_sum"> 
<maxResources> 1000 vcores</maxResources> 
<maxRunningJobs>10</maxRunningJobs> 
<weight>1.0</weight> 
<schedulingPolicy>fair</schedulingPolicy> 
</pool> 

<userMaxAppsDefault>2</userMaxAppsDefault> 

<queuePlacementPolicy> 
<rule name="primaryGroup" create="false" /> 
<rule name="secondaryGroupExistingQueue" create="false" /> 
<rule name="user" create="false"/> 
<rule name="reject"/> 

使用Hadoop ACL 控制访问权限

标签:hadoop

原文地址:http://blog.csdn.net/houzhizhen/article/details/46349823

(0)
(0)
   
举报
评论 一句话评论(0
登录后才能评论!
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!