ApacheRanger简介ApacheRanger提供一个集中式安全管理框架,并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问权限。Ranger优点：丰富的组件支持（HDFS，HBASE，HIVE，YARN，KAFKA，STORM）提供了细粒度级权限控制（h
分类：
其他好文 时间：
2020-11-18 13:10:32
阅读次数：
10
1、进入hbase shell 报内存不足 描述 做hbase数据迁移的时候，需要在目标集群创建与源端集群相同的表以及表属性，同时通过bulkload的方式加载数据。 目前迁移开启十个并发，一共迁移4千张表，失败了200+表的迁移。 看来这种迁移还是不能起太多并发，否则导致hbase regions ...
分类：
其他好文 时间：
2020-11-18 12:27:59
阅读次数：
7
前文介绍了通用+可扩展的http监控平台与log监控平台的架构：《通用+可扩展http监控平台/框架》《通用+可扩展log监控平台/框架》结果，评论里各种冷嘲热讽。监控这个topic本来有很多细节可以聊，既然大伙公司都做得比较完善，后续就不纠细节了，聊聊方向上的思考，架构上的设计。今天和大伙聊聊多维度立体化监控。一、什么是多维度立体化监控不同公司或多或少有一些自动化监控手段，除了前文提到的：htt
分类：
其他好文 时间：
2020-11-18 12:16:50
阅读次数：
3
Hadoop/Hive自带权限控制集群安全下需求：支持多组件，最好能支持当前大数据技术栈的主要组件，HDFS、HBASE、HIVE、YARN、KAFKA等支持细粒度的权限控制，可以达到HIVE列，HDFS目录，HBASE列,YARN队列开源，社区活跃，按照现有的集群情况改动尽可能的小，而且要符合业界的趋势。现有方案：Hadoop、Hive本身的权限控制Kerberos安全认证ApacheRange
分类：
其他好文 时间：
2020-11-18 12:15:31
阅读次数：
8
如《互联网分层架构的本质》所述，互联网分层架构的本质，是数据的移动。数据的移动，需要载体，DB和cache是常见的数据存储载体。如上图：service-A将数据放入cacheservice-B从cache里读取数据cache作为数据存储载体的好处是：cache的读取和写入都非常快service-A和service-B物理上解耦关于“物理上解耦”的概念，详见《互联网架构解耦利器》。本期讨论点：你遇到
分类：
其他好文 时间：
2020-11-17 13:03:20
阅读次数：
26
背景： 集成一个斑马无线条码打印机，报了一堆错误 classes in a single dex file methods 67667 大于 65536 后来 Unable to get provider com.open.hule.library.downloadmanager.DownloadF ...
分类：
其他好文 时间：
2020-11-17 12:14:45
阅读次数：
5
1、hbase数据flush过程 1）当MemStore数据达到阈值（默认是128M，老版本是64M），将数据刷到硬盘，将内存中的数据删除，同时删除HLog中的历史数据； 2）并将数据存储到HDFS中； 3）在HLog中做标记点。 2、数据合并过程 1）当数据块达到4块，hmaster将数据块加载到 ...
分类：
其他好文 时间：
2020-11-17 11:47:51
阅读次数：
3
架构师之路年终总结（五）-缓存篇缓存是互联网系统架构中必不可少的一环，之前花大精力系统性的写了10篇，缓存架构设计相关的文章，欢迎回顾。1.《进程内缓存究竟怎么玩？》缓存，可以分为：进程内缓存，缓存服务。文章介绍了：（1）什么是进程内缓存（2）进程内缓存的优缺点（3）进程内缓存保存一致性的3种方案（4）到底什么时候用进程内缓存文章也说明，大部分业务场景，不应该用进程内缓存，而应该用缓存服务，而如今
分类：
其他好文 时间：
2020-11-16 13:54:20
阅读次数：
5
Rowkey设计时需要遵循三大原则： 1. 唯一性原则 rowkey在设计上保证其唯一性。rowkey是按照字典顺序排序存储的，因此，设计rowkey的时候，要充分利用这个排序的特点，将经常读取的数据存储到一块，将最近可能会被访问的数据放到一块。 2. 长度原则 rowkey是一个二进制码流，可以是 ...
分类：
其他好文 时间：
2020-11-13 13:05:38
阅读次数：
7
摘自：https://www.jianshu.com/p/4f2566b67989 以后可能用的上 通常我们在vue项目中都是前端配置好路由的，但在一些项目中我们可能会遇到权限控制，这样我们就涉及到动态路由的设置了。 动态路由设置一般有两种： (1)、简单的角色路由设置：比如只涉及到管理员和普通用户 ...
分类：
其他好文 时间：
2020-11-13 12:11:15
阅读次数：
6
