认识Hive 从MapReduce到SQL Hive架构 三种安装方式 Hive与关系型数据库的区别 1. 认识Hive 前面我们讲到了mapreduce计算框架，各位需要通过java编码的形式来实现设计运算过程，Hive的设计目的就是为了让精通sql技能而java较弱的分析师能够利用hadoop进 ...
分类：
其他好文 时间：
2020-11-21 12:33:40
阅读次数：
7
Seata角色术语 TC - 事务协调者 维护全局和分支事务的状态，驱动全局事务提交或回滚，即Seata服务端。 TM - 事务管理器 定义全局事务的范围：开始全局事务、提交或回滚全局事务，在事务发起的客户端。 RM - 资源管理器 管理分支事务处理的资源，与TC交谈以注册分支事务和报告分支事务的状 ...
分类：
其他好文 时间：
2020-11-21 12:27:31
阅读次数：
9
yarn是什么： 旧版本MapReduce中的JobTracker/TaskTracker在可扩展性、内存消耗、可靠性和线程模型方面存在很多问题，需要开发者做很多调整来修复。 Hadoop的开发者对这些问题进行了Bug修复，可是由此带来的成本却越来越高，为了从根本上解决旧MapReduce存在的问题 ...
分类：
其他好文 时间：
2020-11-19 12:56:26
阅读次数：
17
ApacheRanger简介ApacheRanger提供一个集中式安全管理框架,并解决授权和审计。它可以对Hadoop生态的组件如HDFS、Yarn、Hive、Hbase等进行细粒度的数据访问控制。通过操作Ranger控制台，管理员可以轻松的通过配置策略来控制用户访问权限。Ranger优点：丰富的组件支持（HDFS，HBASE，HIVE，YARN，KAFKA，STORM）提供了细粒度级权限控制（h
分类：
其他好文 时间：
2020-11-18 13:10:32
阅读次数：
10
接口列表及接口说明授权管理获取访问令牌：开发者通过开发平台创建云应用对应的授权凭证获取令牌。刷新用户令牌：出于安全考虑，当前每个OAuthtoken的有效期为两小时，过期以后需要使用refresh_token来换取新的令牌。说明：access_token有时间限制，无次数限制；而refresh_token无时间限制，但是只能生效一次。免登录令牌：根据涂鸦用户uid生成免登录令牌，部分场景或者API
分类：
其他好文 时间：
2020-11-18 12:15:47
阅读次数：
7
Hadoop/Hive自带权限控制集群安全下需求：支持多组件，最好能支持当前大数据技术栈的主要组件，HDFS、HBASE、HIVE、YARN、KAFKA等支持细粒度的权限控制，可以达到HIVE列，HDFS目录，HBASE列,YARN队列开源，社区活跃，按照现有的集群情况改动尽可能的小，而且要符合业界的趋势。现有方案：Hadoop、Hive本身的权限控制Kerberos安全认证ApacheRange
分类：
其他好文 时间：
2020-11-18 12:15:31
阅读次数：
8
导语如果之前的单机版hadoop环境安装满足不了你，集群版hadoop一定合你胃口，轻松入手。目录集群规划前置条件配置免密登录3.1生成密匙3.2免密登录3.3验证免密登录集群搭建4.1下载并解压4.2配置环境变量4.4修改配置4.4分发程序4.5初始化4.6启动集群4.7查看集群提交服务到集群1.集群规划这里搭建一个3节点的Hadoop集群，其中三台主机均部署DataNode和NodeManag
分类：
其他好文 时间：
2020-11-18 12:13:01
阅读次数：
6
NAT模式配置httpd & httpds 环境如下： 主机 ip 角色 调度器 192.168.197.141 dip 调度器 192.168.197.250 vip Real server1 192.168.197.142 rip Real server2 192.168.197.143 rip ...
分类：
其他好文 时间：
2020-11-17 12:56:57
阅读次数：
23
对于生产环境，需以高可用的配置安装 Rancher，确保用户始终可以访问 Rancher Server。当安装在Kubernetes集群中时，Rancher将与集群的 etcd 集成，并利用Kubernetes 调度实现高可用。 为确保高可用，本文所部署的 Kubernetes 集群将专用于运行 R ...
分类：
其他好文 时间：
2020-11-17 12:37:47
阅读次数：
6
1、大数据有哪些特点？ valume(大量） velocity（高速） variety（多样） value（低价值密度） 2、什么是大数据？ 指无法在一定的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信 ...
分类：
其他好文 时间：
2020-11-16 13:51:20
阅读次数：
9
