Linux下获取当前的目录,需执行以下命令: $(cd `dirname $0`;pwd) 其中, dirname $0,取得当前执行的脚本文件的父目录 cd `dirname $0`,进入这个目录(切换当前工作目录) pwd,显示当前工作目录(cd执行后的) 在使用的过程中需注意此事项:命令中“` ...
分类:
系统相关 时间:
2020-11-18 13:15:34
阅读次数:
40
ApacheRanger简介ApacheRanger提供一个集中式安全管理框架,并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台,管理员可以轻松的通过配置策略来控制用户访问权限。Ranger优点:丰富的组件支持(HDFS,HBASE,HIVE,YARN,KAFKA,STORM)提供了细粒度级权限控制(h
分类:
其他好文 时间:
2020-11-18 13:10:32
阅读次数:
10
思路:输入数值N,求1-N之间能被3整除的数之和#!/bin/bashif[$#-ne1];then#只允许输入一个参数echo"pleaseinputoneparameter!"exit1fisum=0foriin`seq1$1`#$1赋值参数doj=$[$i%3]#%求余数if[$j-eq0];then#判断能够被3整除的数值sum=$[$sum+$i]#累加fidoneecho"1to$1t
分类:
系统相关 时间:
2020-11-18 13:04:56
阅读次数:
16
1、进入hbase shell 报内存不足 描述 做hbase数据迁移的时候,需要在目标集群创建与源端集群相同的表以及表属性,同时通过bulkload的方式加载数据。 目前迁移开启十个并发,一共迁移4千张表,失败了200+表的迁移。 看来这种迁移还是不能起太多并发,否则导致hbase regions ...
分类:
其他好文 时间:
2020-11-18 12:27:59
阅读次数:
7
Hadoop/Hive自带权限控制集群安全下需求:支持多组件,最好能支持当前大数据技术栈的主要组件,HDFS、HBASE、HIVE、YARN、KAFKA等支持细粒度的权限控制,可以达到HIVE列,HDFS目录,HBASE列,YARN队列开源,社区活跃,按照现有的集群情况改动尽可能的小,而且要符合业界的趋势。现有方案:Hadoop、Hive本身的权限控制Kerberos安全认证ApacheRange
分类:
其他好文 时间:
2020-11-18 12:15:31
阅读次数:
8
导语如果之前的单机版hadoop环境安装满足不了你,集群版hadoop一定合你胃口,轻松入手。目录集群规划前置条件配置免密登录3.1生成密匙3.2免密登录3.3验证免密登录集群搭建4.1下载并解压4.2配置环境变量4.4修改配置4.4分发程序4.5初始化4.6启动集群4.7查看集群提交服务到集群1.集群规划这里搭建一个3节点的Hadoop集群,其中三台主机均部署DataNode和NodeManag
分类:
其他好文 时间:
2020-11-18 12:13:01
阅读次数:
6
故障描述: 安装Office 2016后,双击EXCEL文件打开后显示为空白。 解决办法: 开始——运行——regedit 修改HKEY_CLASSES_ROOT\Excel.Sheet.12\shell\Open\command项默认值。 原值: "C:\Program Files\Microso ...
分类:
其他好文 时间:
2020-11-17 12:47:02
阅读次数:
11
1.for循环语句 在计算机科学中,for循环(英语:for loop)是一种编程语言的迭代陈述,能够让程式码反复的执行。 它跟其他的循环,如while循环,最大的不同,是它拥有一个循环计数器,或是循环变数。这使得for循环能够知道在迭代过程中的执行顺序。 1.shell中的for循环 shell中 ...
分类:
系统相关 时间:
2020-11-17 12:33:06
阅读次数:
19
在unix系统下一切皆文件,文件夹是文件的一种。设备也会对应到相应的文件类型。 基础知识: . 代表当前路径 ..代表上级目录(父目录) / 在路径的最前边的时候代表树根。在路径中间的时候只不过是路径分隔符 ~代表当前用户的工作主目录,操作系统可以同时多用户登陆的 绝对路径 从树根一步一步找/Use ...
分类:
系统相关 时间:
2020-11-17 12:18:43
阅读次数:
21
iptables的主要功能是实现对网络数据包进出设备及转发的控制。当数据包需要进入设备、从设备中流出或者经该设备转发、路由时,都可以使用iptables进行控制。一、iptables中的“四表五链”及“堵通策略”1、“五链”“五链”是指内核中控制网络的NetFilter定义的五个规则链,分别为PREROUTING,路由前INPUT,数据包流入口FORWARD,转发管卡OUTPUT,数据包出口POS
分类:
系统相关 时间:
2020-11-17 12:00:01
阅读次数:
17