Docker部署kafka集群 利用docker可以很方便的在一台机子上搭建kafka集群并进行测试。为了简化配置流程，采用docker-compose进行进行搭建。 kafka搭建过程如下： 编写docker-compose.yml文件,内容如下: version: '3.3' services: ...
分类：
其他好文 时间：
2021-04-10 12:51:06
阅读次数：
0
一、大数据框架三种语义???? 在分布式系统中，如kafka、spark、flink等构成系统的任何节点都是被定义为可以彼此独立失败的。比如在 Kafka 中，broker 可能会 crash，在 producer 推送数据至 topic 的过程中也可能会遇到网络问题。根据 producer 处理此 ...
分类：
其他好文 时间：
2021-04-09 13:27:18
阅读次数：
0
zkCli.sh ls / 记住zk的根目录下内容 ls或者get /kafka/cluster/id 查看zk下的kafuka controller ls /kafka/brokers/ kafka目录下 config查看配置：server.properties broker.id=0 liste ...
分类：
其他好文 时间：
2021-04-08 13:49:09
阅读次数：
0
zookeeper概述： zookeeper是一个开源的分布式协调服务，提供分布式数据一致性解决方案，分布式应用程序可以实现数据发布订阅、负载均衡、命名服务、集群管理分布式锁、分布式队列等功能。 zookeeper提供了分布式数据一致性解决方案，那什么是分布式数据一致性？首先我们谈谈什么叫一致性？ ...
分类：
其他好文 时间：
2021-04-07 11:43:05
阅读次数：
0
1.RPC服务框架的基本结构 RPC本质上就是“像调用本地方法一样调用远程方法”，主要涉及到客户端和服务端的数据的传输，整体的RPC的框架服务就如下所示： 2.使用HTTP实现服务的组成部分 注册中心：zookeeper 序列化方式：json 网络通信：http协议 代理方式：jdk动态代理 3.项 ...
分类：
Web程序 时间：
2021-04-07 11:10:03
阅读次数：
0
https://www.jianshu.com/p/abbc09ed6703 https://blog.csdn.net/wangshuminjava/article/details/80238161?utm_medium=distribute.pc_relevant.none-task-blog- ...
分类：
其他好文 时间：
2021-04-06 15:02:20
阅读次数：
0
zookeeper特性 1、Zookeeper：一个leader，多个follower组成的集群 2、全局数据一致：每个server保存一份相同的数据副本，client无论连接到哪个server，数据都是一致的 3、分布式读写，更新请求转发，由leader实施 4、更新请求顺序进行，来自同一个cli ...
分类：
其他好文 时间：
2021-04-06 14:38:48
阅读次数：
0
SpringBoot集成dubbo简单测试：查询所有学生数据 一、定义接口模块 1、定义学生实体bean package com.inter.pojo; import java.io.Serializable; public class Student implements Serializable ...
分类：
编程语言 时间：
2021-04-05 12:46:59
阅读次数：
0
学习过得技术 HDFS YARN MR HIVE HBASE SPARK SPARK(sparkCore、sparkSql、sparkStreaming) HDFS 数据库管理、 存磁盘 Ha模式(在zookeeper之上) 联邦机制(把大象装进冰箱) split切片 Hbase 列式数据库 半结构 ...
分类：
其他好文 时间：
2021-04-05 12:37:34
阅读次数：
0
实时流式计算 Kafka Stream 2.1 概述 Kafka Stream是Apache Kafka从0.10版本引入的一个新Feature。它是提供了对存储于Kafka内的数据进行流式处理和分析的功能。 Kafka Stream的特点如下： Kafka Stream提供了一个非常简单而轻量的L ...
分类：
其他好文 时间：
2021-04-05 12:27:09
阅读次数：
0
