本文已收录GitHub，更有互联网大厂面试真题，面试攻略，高效学习资料等近些年来，开源流处理领域涌现出了很多优秀框架。光是在Apache基金会孵化的项目，关于流处理的大数据框架就有十几个之多，比如早期的ApacheSamza、ApacheStorm，以及这两年火爆的Spark以及Flink等。应该说，每个框架都有自己独特的地方，也都有自己的缺陷。面对这众多的流处理框架，我们应该如何选择呢？在本文汇
分类：
其他好文 时间：
2020-07-07 11:38:26
阅读次数：
67
#!/bin/bash cd /iflytek/client/kafka/kafka/bin echo "1--ZDR_RY_WWAB_RYHLXX" echo "2--ZDR_RY_WWAB__RX_ZJHM" read -p "please input 1-10:" num case $num ...
分类：
其他好文 时间：
2020-07-06 15:59:59
阅读次数：
55
集群环境 kafka+zkIP地址 主机名 Kafka版本 ZooKeeper版本 JDK版本172.17.0.2 kafka_node1 kafka_2.12-2.2.1.tgz zookeeper-3.4.14.tar.gz jdk-8u161-linux-x64.tar.gz172.17.0. ...
分类：
其他好文 时间：
2020-07-06 13:09:22
阅读次数：
50
MQ主要流程 解耦，异步，消峰 其中目的地主要为队列或者主题 队列点对点 消息的生产者 或者 这时消息的生产者名字已经出来 并且入队的数量变成了3 上述完成的也就是这部分 消息的消费者 前四步大同小异 这里需要和消息发送者的类型一致，所以需要强转一下 其中等待接收可以设置为一直等或者设置时长 最后再 ...
分类：
其他好文 时间：
2020-07-06 12:33:08
阅读次数：
64
Kafka安装部署 Kafka依赖zookeeper，默认kafka有自带的zookeeper，但是一般情况使用自建的好一些 1、 安装zookeeper 1) 创建目录 mkdir /data/kafka/zookeeper/{log,data} -p 2) 下载zookeeper安装包 cd / ...
分类：
其他好文 时间：
2020-07-06 10:58:34
阅读次数：
97
Agent的配置文件最好根据Flume的拓扑架构，依次写好每个节点的配置文件； 一.Agent 开头都是先要定义agent，sorce，channel，sink名 # Name the components on this agent（ 描述这个Agent，给各个组件取名字） a1.sources ...
分类：
Web程序 时间：
2020-07-06 01:18:20
阅读次数：
133
打开zookeeper集群之后，zk正常，但是kafka启动之后总是会挂掉，查找logs日志里的server.log文件发现问题： 问题：A broker is already registered on the path /brokers/ids/0. This probably indicate ...
分类：
其他好文 时间：
2020-07-05 15:07:11
阅读次数：
103
以下内容，来自网络资料整理和个人安装使用结果。后续会持续更新 ...
分类：
其他好文 时间：
2020-07-04 21:13:41
阅读次数：
90
如果从消息组件来讲主要划分为两类： JMS组件：ActiveMQ(慢) AMQP组件(协议)：性能是最高的，而AMQP有两个主要的开源项目： |-RabbitMQ：使用最为广泛，速度也很快 |-Kafka：是在大数据时代产生的，未来明日之星。 RabbitMQ系统架构在所有的消息系统之中，其基本由生 ...
分类：
其他好文 时间：
2020-07-04 16:53:00
阅读次数：
71
启动kafka时，kafka进程无法启动，查阅log发现存在如下问题： 2020-07-04 10:44:54,659] ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServ ...
分类：
其他好文 时间：
2020-07-04 15:27:07
阅读次数：
53
