1.hbase的架构 Hbase主要由master,regionserver,zookeeper,client,hdfs文件系统构成. Zk:记录hbase的表的元数据信息 hamster:进行region的分配,发出操作指令 Hlog:记录HregionServer的操作日志,保证数据的可靠性 H ...
分类：
其他好文 时间：
2019-07-02 09:17:14
阅读次数：
97
环境：3台centos7.43台zookeeper3.4.14wgethttp://mirror.bit.edu.cn/apache/kafka/2.3.0/kafka_2.11-2.3.0.tgz解压：tar-zxvfkafka_2.11-2.3.0.tgz进入kafka目录，修改config/server.properties，找到zookeeper.connect，修改zk集群的连接地址为：
分类：
其他好文 时间：
2019-06-29 22:26:10
阅读次数：
129
分布式组件zk基于zk集群实现分布式配置中心一、zk集群原理zk=文件系统+监听通知机制客户端注册监听它关心的目录节点,(数据改变/被删除/子目录节点增加删除)时,zk会通知客户端 二、zk集群选举原理分析集群leader选举原理集群(myid,zxid)/zab原子广播协议主节点提供写服务,从节点 ...
分类：
其他好文 时间：
2019-06-29 11:08:31
阅读次数：
80
import org.apache.zookeeper.*; import org.apache.zookeeper.data.Stat; import java.io.IOException; import java.util.List; import java.util.concurrent.C... ...
分类：
其他好文 时间：
2019-06-25 17:11:12
阅读次数：
143
1：kafka可以通过多个broker形成集群，来存储大量数据；而且便于横向扩展。 2：kafka信息存储核心的broker，通过partition的segment只关心信息的存储，而生产者只负责向leader角色的partition提交数据，而消费者pull数据的时候自己通过zk存储offset信 ...
分类：
其他好文 时间：
2019-06-15 00:16:48
阅读次数：
150
1.安装并配置zk 2.安装并配置Kafka 3.启动zk 4.启动Kafka 5.创建topic 程序代码 记一次遇到的问题 https://www.cnblogs.com/feifeicui/p/11018761.html ...
分类：
Web程序 时间：
2019-06-13 20:49:09
阅读次数：
145
注意：如果未初始化数据目录，则无法启动ZooKeeper服务器。//在生产环境中，您应该将ZooKeeper部署为具有奇数个服务器的集合。只要集合中的大多数服务器可用，ZooKeeper服务就可用。建议的最小集合大小是三个ZooKeeper服务器，Cloudera建议每个服务器在单独的计算机上运行。此外，如果可能，ZooKeeper服务器进程应该有自己的专用磁盘存储。//查看zk的状态[root@
分类：
其他好文 时间：
2019-06-12 13:58:05
阅读次数：
826
须知 强烈建议看官方文档 服务暴露 "文档地址" 服务发布 原理 发布步骤： 1. 暴露本地服务 2. 暴露远程服务 3. 启动netty 4. 打开连接zookeeper 5. 到zk注册 6. 监听zk 暴露本地服务和暴露远程服务有什么区别？ 1. 暴露本地服务：指暴露在一个JVM里面，不用通过 ...
分类：
其他好文 时间：
2019-06-12 01:17:30
阅读次数：
109
第 2 章 Kafka 集群部署 2.1 环境准备 2.1.1 集群规划 hadoop102 hadoop103 hadoop104 zk zk zk kafka kafka kafka 2.1.2 jar 包下载 http://kafka.apache.org/downloads.html 2.2 ...
分类：
其他好文 时间：
2019-06-10 00:03:24
阅读次数：
116
