序言 主要学习方向 Kafka 分布式消息系统 Redis 缓存数据库 Storm 流式计算 1.Storm 的基本概念 2.Storm 的应用场景 3.Storm 和Hadoop的对比 4.Storm 集群的安装的linux环境准备 5.zookeeper集群搭建 6.Storm 集群搭建 7.S ...
分类：
其他好文 时间：
2020-02-23 11:38:34
阅读次数：
61
分布式锁 借助数据库、Redis集群、Zookeeper集群作为辅助系统。 面临的问题： 1. 锁的一致性问题 ：在集群式辅助系统中，必然会存在锁的并发读，由于集群内部的数据同步存在延迟，不同客户端进程读到的锁可能不一致。 Zookeeper天生支持最终一致性，能在一定程度上满足。 Redison借 ...
分类：
其他好文 时间：
2020-02-20 12:55:41
阅读次数：
57
zookeeper的默认配置文件为zookeeper/conf/zoo_sample.cfg，需要将其修改为zoo.cfg。其中各配置项的含义，解释如下： zookeeper的三种端口号： 2181：客户端连接Zookeeper集群使用的监听端口号 3888：选举leader使用 2888：集群内机 ...
分类：
其他好文 时间：
2020-02-10 12:11:04
阅读次数：
61
zookeeper是作为一个数据管道存储kafka消息队列，上一篇已经解决怎样部署一个zookeeper集群，基于zookeeper集群基础上，本篇介绍怎样部署kafka集群。 mv kafka_2.13-2.4.0.tgz /usr/local tar -zxvf kafka_2.11-2.4.0 ...
分类：
其他好文 时间：
2020-01-30 11:20:41
阅读次数：
140
前前后后各种问题不断终于实现集群部署，特做如下记录，因为zookeeper 和 kafka 都依赖于java 环境，因此需要装jdk。 通过ftp 上传 apache-zookeeper-3.5.6-bin.tar.gz jdk-8u241-linux-x64.tar.gz kafka_2.13-2 ...
分类：
其他好文 时间：
2020-01-29 20:01:25
阅读次数：
90
linux centos6.8环境下部署zookeeper集群 转自：https://blog.51cto.com/13604100/2134669?source=dra 安装3台机器来作为zookeeper集群，3台机器的ip分别是192.168.174.7，192.168.174.8，192.1 ...
分类：
其他好文 时间：
2020-01-20 14:39:44
阅读次数：
62
Pulsar:采取了存储计算分离的技术ZooKeeper 集群的作用和在 Kafka 中是一样的，都是被用来存储元数据。BookKeeper 集群则被用来存储消息数据。BookKeeper 有点儿类似 HDFS，是一个分布式的存储集群，存储单元是ledger，Ledger可以简单的理解为某个主题队列 ...
分类：
其他好文 时间：
2020-01-16 19:08:16
阅读次数：
120
本篇记录在3台服务器（192.168.7.151、192.168.7.152、192.168.7.153）上安装zookeeper集群的过程 一、安装过程 1、解压（zookeeper-3.4.6.tar.gz在/usr/local下） [root@localhost local]# tar -zx ...
分类：
其他好文 时间：
2020-01-11 00:15:43
阅读次数：
101
1.Zookeeper安装搭建Zookeeper集群并查看各服务器的角色停止Leader并查看各服务器的角色 1.1 安装Zookeeper1）编辑/etc/hosts ,所有集群主机可以相互 ping 通（在nn01上面配置，同步到node1，node2，node3）nn01 hadoop]# v ...
分类：
其他好文 时间：
2020-01-10 20:16:32
阅读次数：
93
系统架构介绍 整个实时监控系统的架构是先由 Flume 收集服务器产生的日志 Log 和前端埋点数据, 然后实时把这些信息发送到 Kafka 分布式发布订阅消息系统，接着由 Spark Streaming 消费 Kafka 中的消息，同时消费记录由 Zookeeper 集群统一管理，这样即使 Kaf ...
分类：
其他好文 时间：
2020-01-07 11:44:25
阅读次数：
100
