认识Kafka 花费越少的精力在数据移动上,就能越专注于核心业务 《Kafka:The Definitive Guide》 认识 Kafka 之前,先了解一下发布与订阅消息系统:消息的发送者不会直接把消息发送给接收者、发送者以某种方式对消息进行分类,接收者订阅它们,以便能接受特定类型的消息。发布与订 ...
分类:
其他好文 时间:
2020-07-08 23:21:58
阅读次数:
80
Kafka消费者Demo 依赖包: <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>1.0.0</version> </dependency> 源码: p ...
分类:
其他好文 时间:
2020-07-08 18:11:21
阅读次数:
45
Dubbo教程 一. Dubbo简介 Dubbox 是一个分布式服务框架,底层采用netty通信,服务之间通过rpc调用 节点角色说明 节点 角色说明 Provider 暴露服务的服务提供方 Consumer 调用远程服务的服务消费方 Registry 服务注册与发现的注册中心 Monitor 统计 ...
分类:
其他好文 时间:
2020-07-08 15:31:52
阅读次数:
55
前言在之前,我们增加ES权限验证,常用的方法就是添加HTTP密码,但是,对于使用来说不是很友好,X-pack好用,但是是收费的。不过,在ES6以后,X-pack陆续放开了一些功能,比如Monitor集群监控功能,ES6.8及以后版本ES又将部分安全性功能免费开放了,包含安全认证功能,之后版本又开放一... ...
分类:
其他好文 时间:
2020-07-07 23:27:07
阅读次数:
74
一.简单实现 需求:根据 flume 监控 exec 文件的追加数据,写入 kafka 的 test-demo 分区,然后启用 kafka-consumer 消费 test-demo 分区数据。 需求分析 1)flume的配置文件 在hadoop102上创建flume的配置文件 # define a ...
分类:
Web程序 时间:
2020-07-07 23:22:58
阅读次数:
79
查看防火墙状态 firewall-cmd --state 开放端口 firewall-cmd --zone=public --add-port=2181/tcp --permanent firewall-cmd --zone=public --add-port=9092/tcp --permanen ...
分类:
其他好文 时间:
2020-07-07 17:40:16
阅读次数:
62
为什么需要消息队列 周末无聊刷着手机,某宝网APP突然蹦出来一条消息“为了回馈老客户,女朋友买一送一,活动仅限今天!”。买一送一还有这种好事,那我可不能错过!忍不住立马点了去。于是选了两个最新款,下单、支付一气呵成!满足的躺在床上,想着马上有女朋友了,竟然幸福的失眠了…… 第二天正常上着班,突然接到 ...
分类:
其他好文 时间:
2020-07-07 16:05:41
阅读次数:
53
python生产消费Kafka主要是跟KafkaConsumer和KafkaProducer两个类打交道. from kafka import KafkaProducer, KafkaConsumer class PythonKafka(object): def __init__(self, top ...
分类:
编程语言 时间:
2020-07-07 15:01:26
阅读次数:
76
https://stackoverflow.com/questions/4629800/how-to-use-fiddler-to-monitor-wcf-service You need to add this in your web.config <system.net> <defaultPro ...
分类:
其他好文 时间:
2020-07-07 15:00:34
阅读次数:
51
本文已收录GitHub,更有互联网大厂面试真题,面试攻略,高效学习资料等近些年来,开源流处理领域涌现出了很多优秀框架。光是在Apache基金会孵化的项目,关于流处理的大数据框架就有十几个之多,比如早期的ApacheSamza、ApacheStorm,以及这两年火爆的Spark以及Flink等。应该说,每个框架都有自己独特的地方,也都有自己的缺陷。面对这众多的流处理框架,我们应该如何选择呢?在本文汇
分类:
其他好文 时间:
2020-07-07 11:38:26
阅读次数:
67