码迷,mamicode.com
首页 >  
搜索关键字:zookeeper kafka    ( 9164个结果
Flink实例(116):flink-sql使用(二十二)以upsert的方式读写Kafka数据——以Flink1.12为例(一)
来源:https://mp.weixin.qq.com/s/Tb8GtabOVBvx88de0C4ncw 0 背景 在某些场景中,比如GROUP BY聚合之后的结果,需要去更新之前的结果值。这个时候,需要将 Kafka 消息记录的 key 当成主键处理,用来确定一条数据是应该作为插入、删除还是更新记 ...
分类:数据库   时间:2021-01-27 13:12:51    阅读次数:0
三、zookeeper常用shell命令
一、新增节点 语法 #其中-s 为有序节点,-e 临时节点 create [-s] [-e] path data 创建持久化节点并写入数据: # 创建hadoop节点并写入数据123456: create /hadoop "123456" 创建持久化有序节点,此时创建的节点名为指定节点名 + 自增序 ...
分类:系统相关   时间:2021-01-22 12:13:51    阅读次数:0
Hive整合Hbase
HBase 虽然可以存储数亿或数十亿行数据,但是对于数据分析来说,不太友好,只提供了简单的基于 Key 值的快速查询能力,没法进行大量的条件查询。现有hbase的查询工具有很多如:Hive,Tez,Impala,Shark/Spark,Phoenix等。今天主要说Hive,Hive方便地提供了Hiv ...
分类:其他好文   时间:2021-01-21 10:54:30    阅读次数:0
Kafka 探险 - 生产者源码分析: 核心组件
这个 Kafka 的专题,我会从系统整体架构,设计到代码落地。和大家一起杠源码,学技巧,涨知识。希望大家持续关注一起见证成长! 我相信:技术的道路,十年如一日!十年磨一剑! 往期文章 Kafka 探险 - 架构简介 Kafka 探险 - 源码环境搭建 前言 我们说 Kafka 是一个消息队列,其实更 ...
分类:其他好文   时间:2021-01-20 12:07:05    阅读次数:0
Hadoop HA 模式搭建
一 、 Hadoop 集群架构设计 二 、 搭建集群 修改IP地址与hostname以及部署zookeeper、hadoop见上一篇博文《Hadoop 完全分布式搭建》。 三 、修改配置文件 修改nna上的core-site.xml <configuration> <!-- 指定hdfs的names ...
分类:其他好文   时间:2021-01-19 12:16:24    阅读次数:0
zookeeper:安装和测试
前言: 端口号:21881 ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。 本质:主要作用是注册 ...
分类:其他好文   时间:2021-01-19 12:08:39    阅读次数:0
Java进阶专题(二十一) 消息中间件架构体系(3)-- Kafka研究
前言 Kafka 是一款分布式消息发布和订阅系统,具有高性能、高吞吐量的特点而被广泛应用与大数据传输场景。它是由 LinkedIn 公司开发,使用 Scala 语言编写,之后成为 Apache 基金会的一个顶级项目。kafka 提供了类似 JMS 的特性,但是在设计和实现上是完全不同的,而且他也不是 ...
分类:编程语言   时间:2021-01-19 11:48:43    阅读次数:0
kafka 如何保证数据不丢失
一般我们在用到这种消息中件的时候,肯定会考虑要怎样才能保证数据不丢失,在面试中也会问到相关的问题。但凡遇到这种问题,是指3个方面的数据不丢失,即:producer consumer 端数据不丢失 broker端数据不丢失下面我们分别从这三个方面来学习,kafka是如何保证数据不丢失的 一.produ ...
分类:其他好文   时间:2021-01-18 10:53:52    阅读次数:0
kafka初步使用
生产者 KafkaExtendProducer.send("topic","key","value"); 消费者 @Slf4j @RequiredArgsConstructor @Component public class ConsumerThread implements Runnable { ...
分类:其他好文   时间:2021-01-15 11:46:10    阅读次数:0
Clickhouse写入问题汇总
Clickhouse写入问题汇总 Zookeeper相关 当clickhouse在建表时使用了Replicated引擎族时, 会对zookeeper有非常重的依赖, 这时候就要注意zookeeper集群的一些优化项. clickhouse集群两分片两副本(4C8G),实测每分钟80W数据量的情况下, ...
分类:其他好文   时间:2021-01-15 11:41:46    阅读次数:0
9164条   上一页 1 ... 15 16 17 18 19 ... 917 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!