ApacheRanger简介ApacheRanger提供一个集中式安全管理框架,并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问权限。Ranger优点：丰富的组件支持（HDFS，HBASE，HIVE，YARN，KAFKA，STORM）提供了细粒度级权限控制（h
分类：
其他好文 时间：
2020-11-18 13:10:32
阅读次数：
10
一、缘起（1）并发量大，流量大的互联网架构，一般来说，数据库上层都有一个服务层，服务层记录了“业务库名”与“数据库实例”的映射关系，通过数据库连接池向数据库路由sql语句以执行：如上图：服务层配置用户库user对应的数据库实例物理位置为ip（其实是一个内网域名）。（2）随着数据量的增大，数据要进行水平切分，分库后将数据分布到不同的数据库实例（甚至物理机器）上，以达到降低数据量，增强性能的扩容目的：
分类：
数据库 时间：
2020-11-18 13:09:39
阅读次数：
15
一分钟系列之《啥，又要为表增加一列属性？》分享了两种数据库属性扩展思路，被喷得厉害。第二天补充了一篇《这才是真正的表扩展方案》，分享了互联网大数据高并发情况下，数据库属性扩容的成熟工具及思路。对于version+ext方案，还是有很多朋友质疑“线上不可能这么用”。本篇将讲述一下58同城最核心的数据“帖子”的架构实现技术细节，说明不仅不是“不可能这么用”，而是大数据，可变属性，高吞吐场景下的“常用手
分类：
其他好文 时间：
2020-11-18 13:05:44
阅读次数：
10
尚硅谷大数据项目实战之在线教育（01数仓需求） (作者：尚硅谷大数据研发部) 版本：V1.0 第1章 数据仓库概念 数据仓库是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。 数据仓库是出于分析报告和决策支持目的而创建的，为需要业务智能的企业，提供指导业务流程改进、监控时间、成本、质量 ...
分类：
其他好文 时间：
2020-11-18 12:30:57
阅读次数：
5
场景介绍场景介绍如何使用函数计算服务开发HelloWorld应用。您可以通过控制台或Funcraft工具实现。背景知识什么是Serverless自2006年8月9日，Google首席执行官埃里克·施密特（EricSchmidt）在搜索引擎大会（SESSanJose2006）首次提出“云计算”（CloudComputing）的概念之后，云计算的发展可以用日新月异这个词来形容。那么究竟什么才是Serv
分类：
其他好文 时间：
2020-11-18 12:21:24
阅读次数：
4
Hadoop/Hive自带权限控制集群安全下需求：支持多组件，最好能支持当前大数据技术栈的主要组件，HDFS、HBASE、HIVE、YARN、KAFKA等支持细粒度的权限控制，可以达到HIVE列，HDFS目录，HBASE列,YARN队列开源，社区活跃，按照现有的集群情况改动尽可能的小，而且要符合业界的趋势。现有方案：Hadoop、Hive本身的权限控制Kerberos安全认证ApacheRange
分类：
其他好文 时间：
2020-11-18 12:15:31
阅读次数：
8
编译Ranger源码首先准备好Java和Maven环境：[root@hadoop01~]#java-versionjavaversion"1.8.0_261"Java(TM)SERuntimeEnvironment(build1.8.0_261-b12)JavaHotSpot(TM)64-BitServerVM(build25.261-b12,mixedmode)[root@hadoop01~]#
分类：
Web程序 时间：
2020-11-18 12:13:58
阅读次数：
19
导语如果之前的单机版hadoop环境安装满足不了你，集群版hadoop一定合你胃口，轻松入手。目录集群规划前置条件配置免密登录3.1生成密匙3.2免密登录3.3验证免密登录集群搭建4.1下载并解压4.2配置环境变量4.4修改配置4.4分发程序4.5初始化4.6启动集群4.7查看集群提交服务到集群1.集群规划这里搭建一个3节点的Hadoop集群，其中三台主机均部署DataNode和NodeManag
分类：
其他好文 时间：
2020-11-18 12:13:01
阅读次数：
6
RD：单库数据量太大，数据库扛不住了，我要申请一个数据库从库，读写分离。DBA：数据量多少？RD：5000w左右。DBA：读写吞吐量呢？RD：读QPS约200，写QPS约30左右。上周在公司听到两个技术同学讨论，感觉对读写分离解决什么问题没有弄清楚，有些奔溃。另，对于互联网某些业务场景，并不是很喜欢数据库读写分离架构，一些浅见见文末。一、读写分离什么是数据库读写分离？答：一主多从，读写分离，主动同
分类：
数据库 时间：
2020-11-17 13:03:37
阅读次数：
27
