Hadoop/Hive自带权限控制集群安全下需求:支持多组件,最好能支持当前大数据技术栈的主要组件,HDFS、HBASE、HIVE、YARN、KAFKA等支持细粒度的权限控制,可以达到HIVE列,HDFS目录,HBASE列,YARN队列开源,社区活跃,按照现有的集群情况改动尽可能的小,而且要符合业界的趋势。现有方案:Hadoop、Hive本身的权限控制Kerberos安全认证ApacheRange
分类:
其他好文 时间:
2020-11-18 12:15:31
阅读次数:
8
Linux平台: 备份: sudo dd if=/dev/sdc | gzip>raspberry.gz 恢复: sudo gzip -dc raspberry.gz | sudo dd of=/dev/sdc MAC平台: 查看TF卡对应设备: diskutil list /dev/disk5 ( ...
分类:
其他好文 时间:
2020-11-17 12:28:36
阅读次数:
9
1. 产品的架构是数据采集到 kafka,由 flink 读取,送入ES 2. 这个过程中,涉及: kafka分区数,flink并行度,ES 分区数和副本 3. kafka 分区数决定了后面 flink 的并行度,最好是 kafka 的分区数和 flink 的并行度一致 4. 写入 ES 时,需要先 ...
分类:
其他好文 时间:
2020-11-16 14:01:57
阅读次数:
18
上次《百亿级数据DB秒级平滑扩容!》之后,很多朋友提问,说如果不是“双倍”扩容,能否做到平滑迁移,不影响服务呢?适用什么场景?互联网有很多“数据量较大,并发量较大,业务复杂度较高”的业务场景,其典型系统分层架构如下:(1)上游是业务层biz,实现个性化的业务逻辑;(2)中游是服务层service,封装数据访问;(3)下游是数据层db,存储固化的业务数据;服务化分层架构的好处是,服务层屏蔽下游数据层
分类:
其他好文 时间:
2020-11-16 13:59:24
阅读次数:
11
K8S之存储ConfigMap概述与说明,并详解常用ConfigMap示例 ...
分类:
Web程序 时间:
2020-11-12 14:14:50
阅读次数:
17
标准库栈的实现 std::stack的成员函数:push():栈顶插入元素pop():删除栈顶元素empty():检查栈是否为空病返回一个布尔值size():返回栈的元素数量top():获得栈顶元素 1 #include <iostream> 2 #include <stack> 3 4 using ...
分类:
其他好文 时间:
2020-11-12 13:51:53
阅读次数:
5
1.找到最大值减去最小值小于等于一个数值的子数组数量 如果L~R范围上达标,那么里面的任何一个子数组都达标 如果L~R范围上不达标,当R向右扩时,必定不达标。 所有我们只需要遍历一次,每次找到以L开头的子数组达标的子数组数量。 使用滑动窗口,这里用到两个滑动窗口。特别简单,就是保持队列里面的大小顺序 ...
分类:
编程语言 时间:
2020-11-11 16:44:36
阅读次数:
18
原文地址: 关于Redis持久化,你了解多少?(下)-内含整理资料? AOF(append-only-file),通过保存执行命令来记录数据库状态 AOF的配置 # 是否开启aof appendonly yes # 文件名称 appendfilename "appendonly.aof" # 同步方 ...
分类:
其他好文 时间:
2020-11-11 16:43:58
阅读次数:
15
四、pod控制器controller用于控制pod控制器主要分为:ReplicationController(相当于ReplicaSet的老版本,现在建议使用Deployments加ReplicaSet替代RC)ReplicaSet副本集,控制pod扩容,裁减Deployments控制pod升级,回退StatefulSets部署有状态的pod应用DaemonSet运行在所有集群节点(包括maste
分类:
其他好文 时间:
2020-11-11 16:17:53
阅读次数:
8
参考博客 其实不算很难的一个算法 先建一个 Tire树 ,然后bfs构造 fail 指针 \(Fail\) 的含义 若一个节点 \(i\) 的 \(fail[i] = j\) ,则表示从 \(root\) 到 \(j\) 的字符串是 \(root\) 到 \(i\) 的字符串的一个后缀 AC自动机洛 ...
分类:
其他好文 时间:
2020-11-11 16:13:19
阅读次数:
7