Kafka是一个比RabbitMQ更加强大的消息中间件，处理消息的能力为80-100M/s，下面安装记录一下，Linux版本为Centos6。 解压压缩包 直接解压即可。 [root@hadoop01 /home/software]# tar -zxvf kafka_2.11-1.0.0.tgz 修 ...
分类：
其他好文 时间：
2019-12-30 23:19:06
阅读次数：
92
众所周知,项目一旦上线一般是不允许改动的,但是线上一旦出现问题的话,看日志就是一件比较头痛的事情,因为并没有类似elk或者kafka的日志管理系统,小的项目也没有必要,所以常用的方法是sftp下日志,看问题,然后操作以后,再下载,所以想实现类似tail 命令的功能,可以实时看到日志输出,通过浏览器. ...
分类：
Web程序 时间：
2019-12-30 22:49:39
阅读次数：
100
1.使用WaterDrop 从kafka中消费数据，写入到ClickHouse 1.1 环境 ~~~ SPARK2 2.3.0.cloudera4 1.cdh5.13.3.p0.611179 clickhouse 1.1.54236 4.el7.x86_64 waterdrop 1.4.2 ~~~ ...
分类：
其他好文 时间：
2019-12-30 19:36:58
阅读次数：
284
kafka是一个高吞吐量,低延迟分布式的消息队列系统.kafka每秒可以处理几十万条消息,它的延迟最低只有几毫秒 一. kafka模型 kafka提供了一个生产者,缓冲区,消费者的模型 1.1 模型分析 broker:kafka集群有多个broker服务器组成,用于存储数据(消息) topic:不同 ...
分类：
其他好文 时间：
2019-12-30 14:34:06
阅读次数：
78
消息队列 为什么写这篇文章? 博主有两位朋友分别是小A和小B: 小A，工作于传统软件行业(某社保局的软件外包公司)，每天工作内容就是和产品聊聊需求，改改业务逻辑。再不然就是和运营聊聊天，写几个SQL，生成下报表。又或者接到客服的通知，某某功能故障了，改改数据，然后下班部署上线。每天过的都是这种生活， ...
分类：
其他好文 时间：
2019-12-30 11:20:33
阅读次数：
71
Kafka是一款由linkedln（领英）公司开发，并由Apache基金会开源的中间件。
Kafka由Scala和Java写成，主要负责分布式消息订阅，它可以处理生产者和消费者之间的动作流，作为消息队列为业界所使用。 ...
分类：
其他好文 时间：
2019-12-30 09:34:45
阅读次数：
103
本篇会给出如何使用python来读写kafka, 包含生产者和消费者. 以下使用 "kafka python" 客户端 生产者 爬虫大多时候作为消息的发送端, 在消息发出去后最好能记录消息被发送到了哪个分区, offset是多少, 这些记录在很多情况下可以帮助快速定位问题, 所以需要在 方法后加入c ...
分类：
编程语言 时间：
2019-12-30 00:24:53
阅读次数：
107
由于最近要重新开始找工作，在对过往知识进行梳理时，发现好像每一次重新找工作时都要重新去梳理这些知识，感觉每一次都要重来一遍是不是有点得不偿失，为什么不尝试直接做个知识导图，然后去补充知识点，这样既能快速的复习，又能节约时间，效率自然就提高，说干就干，于是就有了这次分享的kafka导图，知识点并非是自 ...
分类：
其他好文 时间：
2019-12-29 23:59:54
阅读次数：
131
1. 获取安装包下载链接 1. 获取安装包下载链接 访问https://kafka.apache.org/downloads 找到kafka对应版本 需要与服务器安装的scala版本一致（运行spark-shell可以看到当前安装的scala版本） 2. 执行命令下载并安装 cd /usr/loca ...
分类：
其他好文 时间：
2019-12-28 22:47:01
阅读次数：
89
Flume采集的控制台提示：The channel is full or unexpected failure. The source will try again after 1000 ms 这个是因为当前被采集的文件过大，深层的原因是文件采集的速度和sink的速度没有匹配好。所以应该可以通过增大 ...
分类：
其他好文 时间：
2019-12-28 22:41:20
阅读次数：
335
