码迷,mamicode.com
首页 >  
搜索关键字:hadoop zookeeper    ( 18907个结果
Hadoop系列番外篇之一文搞懂Hadoop RPC框架及细节实现
@ Hadoop RPC 框架解析 网络通信模块是分布式系统中最底层的模块。它直接支撑了上层分布式环境下复杂的进程间通信(Inter-Process Communication, IPC)逻辑,是所有分布式系统的基础。远程过程调用(Remote Procedure Call, RPC)是一种常用的分 ...
分类:其他好文   时间:2021-06-02 19:49:37    阅读次数:0
Hadoop MapReduce 一文详解MapReduce及工作机制
@ 前言-MR概述 MapReduce是一个分布式计算框架,是用户开发“基于Hadoop的数据分析应用”的核心框架。主要由两部分组成:编程模型和运行时环 境。其中,编程模型为用户提供了非常易用的编程接口,用户只需要像编写串行程序 一样实现几个简单的函数即可实现一个分布式程序,而其他比较复杂的工作,如 ...
分类:其他好文   时间:2021-06-02 19:46:24    阅读次数:0
Zookeeper--入门
概述 Zookeeper是一个开源的分布式的,为分布式应用提供协调服务的Apache项目 动物园管理员 工作机制 Zoekeeper从设计模式角度来理解:是一-个基于观察者模式设计的分布式服务管理框架,它负责存储和管理大家都关心的数据,然后接受观察者的注册,一旦这些数据的状态发生变化Zookeepe ...
分类:其他好文   时间:2021-06-02 18:07:32    阅读次数:0
2、linux Hadoop集群环境配置ssh无密码验证
集群网络配置 分别设置修改主机名 master slave1 slave2 hostnamectl set-hostname 名字 分别配置/etc/hosts文件 查看openssh和rsync安装 rpm -qa | grep 名字 切换到Hadoop用户 各节点生成秘钥 ssh-keygen ...
分类:系统相关   时间:2021-06-02 15:27:52    阅读次数:0
四、zookeeper的Acl权限控制
一、概述 zookeeper 类似文件系统,client 可以创建节点、更新节点、删除节点,那么如何做到节点的权限的控制呢?zookeeper的access control list 访问控制列表可以做到这一点。 # 语法 # 采用特定的授权策略给特定的对象授予特定的权限 setAcl path a ...
分类:其他好文   时间:2021-06-02 14:07:32    阅读次数:0
hadoop实践
hadoop 1.0 1. 创建用户hadoop 2. 下载: curl -o hadoop-1.2.1-bin.tar.gz https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/hadoop-1.2.1-bin.tar.gz 3. ...
分类:其他好文   时间:2021-06-02 14:05:53    阅读次数:0
# ZooKeeper应用场景
ZooKeeper 是一个高可用的分布式数据管理与系统协调框架。基于对 Paxos 算法的实现,使该框架保证了分布式环境中数据的强一致性,也正是基于这样的特性,使得 ZooKeeper 解决很多分布式问题。 下面对 ZK 的应用场景迚行一个分门归类的介绉。 一、数据发布与订阅(配置中心) 发布与订阅 ...
分类:其他好文   时间:2021-06-02 13:47:13    阅读次数:0
六款超好用的大数据分析工具
一、大数据分析工具——Hadoop Hadoop是一个能够对大量数据进行分布式处理的软件框架。但是Hadoop是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop是高效的,因为它 ...
分类:其他好文   时间:2021-06-02 13:17:23    阅读次数:0
kafka binding to ipv6 port even though ipv4 address specified in config
I am in a bit of a bind (pun intended). I have a ubuntu server running kafka & zookeeper. This server has both ipv4 and ipv6 protocols installed. In t ...
分类:其他好文   时间:2021-06-02 12:29:05    阅读次数:0
Spark 集群安装部署
安装准备 Spark 集群和 Hadoop 类似,也是采用主从架构,Spark 中的主服务器进程就叫 Master(standalone 模式),从服务器进程叫 Worker Spark 集群规划如下: node-01:Master node-02:Worker node-03:Worker 安装步 ...
分类:其他好文   时间:2021-05-24 17:07:05    阅读次数:0
18907条   上一页 1 ... 4 5 6 7 8 ... 1891 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!