第一层Flume 从 source-> KAFKA .[kafka作为channel] 1.安装的 Flume是1.7的版本 安装略 日志文件分为两种一种是启动日志，一种是事件日志. 通过selector选择器把这两个日志分开，并且过滤一些空数据. 我们先写选择器吧. 1. 建立一个工程. mave ...
分类：
Web程序 时间：
2020-06-28 00:08:11
阅读次数：
135
1.集合source 2.hdfs source 3.kafka 单value source 4. kafka 键值对source 启动生产者 5.自定义source ...
分类：
其他好文 时间：
2020-06-27 21:42:37
阅读次数：
90
kafka Topic主题与Patitions分区架构图： 硬件架构图： end. ...
分类：
其他好文 时间：
2020-06-27 00:24:19
阅读次数：
60
点对点消息系统：生产者发送一条消息到queue，一个queue可以有很多消费者，但是一个消息只能被一个消费者接收，当没有消费者可用时，这个消息会被保存直到有一个可用的消费者，所以Queue实现了一个可靠的负载均衡。 发布订阅消息系统：发布者发送到topic的消息，只有订阅了topic的订阅者才会收到 ...
分类：
其他好文 时间：
2020-06-26 22:33:00
阅读次数：
79
需求：采集8类日志数据，并且进入es展示： 方案制定：目前数据采集通用flume+kafka模式，所以采用原有模式，一类服务进入一个topic，然后通过logstash进行数据清洗，最后进入es进行展示。 flume采用tadir 读取数据源，memory 进行缓存，kafka进行sink a1.s ...
分类：
Web程序 时间：
2020-06-26 22:29:32
阅读次数：
81
##一、消费者消费原理 在实际生产过程中，每个topic都会对对应多个partitions，好处如下： 能够对 broker 上的数据进行分片有效减少了消息的容量从而提升 io 性能 为了提高消费端的消费能力，一般会通过多个consumer 去消费同一个 topic #####Q1. 在开启多个co ...
分类：
其他好文 时间：
2020-06-26 18:44:03
阅读次数：
62
Linux作为一个强大的操作系统，提供了一系列内核参数供我们进行调优。光TCP的调优参数就有50多个。在和线上问题斗智斗勇的过程中，笔者积累了一些在内网环境应该进行调优的参数。在此分享出来，希望对大家有所帮助。 调优清单 好了，在这里先列出调优清单。请记住，这里只是笔者在内网进行TCP内核参数调优的 ...
分类：
系统相关 时间：
2020-06-26 18:17:15
阅读次数：
107
##一、引入kafka pom三方配置 <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.4.0</version> </dependency> ##二 ...
分类：
其他好文 时间：
2020-06-26 13:04:18
阅读次数：
54
特性如下： 可线性伸缩至超过数百个节点； 实现亚秒级延迟处理； 可与Spark批处理和交互式处理无缝集成； 提供简单的API实现复杂算法； 更多的流方式支持，包括Kafka、Flume、Kinesis、Twitter、ZeroMQ等。 原理 Spark在接收到实时输入数据流后，将数据划分成批次（di ...
分类：
Web程序 时间：
2020-06-26 01:31:54
阅读次数：
136
端到端一致性: exactly-once传输过程要保证exactly-once, 需要内部能够实现状态保存, 当下游保存失败时, 能够更加保存的历史状态再次提交数据.而下游接受数据, 需要具备去重能力. 去重有两种方式:幂等写入, 事务写入内部: 支持checkpoint或者状态保存下一级: 数据不... ...
分类：
其他好文 时间：
2020-06-25 19:15:36
阅读次数：
119
