由于工作需求要在一台机器上部署flink和kafka的测试环境, 所以用到了docker 查看内核版本, 最好为3.10版本以上 更新yum源 安装需要的软件包， yum util 提供yum config manager功能，另外两个是devicemapper驱动依赖的 设置 yum源 这里用阿里 ...
分类：
其他好文 时间：
2020-04-08 19:25:42
阅读次数：
88
Docker 安装基于docker环境搭建kafka集群（单机版)基于 Docker 安装 zabbixweblogic 详解归类 : 目录 ...
分类：
其他好文 时间：
2020-04-08 18:54:17
阅读次数：
62
ORACLE的DDL日志 推送到Kafka，并接入Flink，进行统计 本次测试的环境： 环境：docker oracle12c 日志模式：归档日志模式 archivelog 用户：scott/tiger 具有dba权限 大数据组件：kafka(默认创建好topic：flink_topic)，zoo ...
分类：
数据库 时间：
2020-04-08 16:07:45
阅读次数：
508
日志是每个系统最为头疼的地方，杂乱，还多，没有还不行，想管理好的话，得经得起考验，要解决的问题总结如下： （1）高并发 （2）高吞吐量 （3）支持分布式集群 （4）检索要快 简介： 1.Zoomkeeper Kafka的通道 2. Kafka Kafka主要是解决大量日志的处理的分布式发布订阅消息系 ...
分类：
Web程序 时间：
2020-04-08 12:05:55
阅读次数：
124
一、发展历程 早期淘宝内部有两套消息中间件系统：Notify和Napoli。 先有的Notify(至今12历史)，后来因有序场景需求，且恰好当时Kafka开源(2011年)，所以参照Kafka的设计理念自研了RocketMQ。 目前Notify和RocketMQ二者的定位如下: RocketQ 主要 ...
分类：
其他好文 时间：
2020-04-07 22:20:50
阅读次数：
72
1.kafka是什么？ Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。 Kafka最初是由LinkedIn开发，并于2011年初开源。2012年10月从Apache Incubator毕业。该项目的目标是为处理实时数据提供一个统一 ...
分类：
其他好文 时间：
2020-04-07 22:14:54
阅读次数：
93
基础环境准备 安装前的准备工作（zk已经部署完毕） 关闭防火墙 service iptables stop #临时关闭 chkconfig iptables off && setenforce 0 #永久关闭 kafka单机版安装采用自带的zookeeper处理 1.校验一下java是否安装 jav ...
分类：
其他好文 时间：
2020-04-07 22:13:20
阅读次数：
98
**6.启动zookeeper** ```/opt/kafka/bin/zookeeper-server-start.sh /opt/kafka/config/zookeeper.properties ``` **7.启动kafka** ```/opt/kafka/bin/kafka-server- ...
分类：
其他好文 时间：
2020-04-07 09:45:34
阅读次数：
250
问题描述 2018年xx月xx日 下午4点20分左右 xxx无意中看到xxx正在排查线上Kafka集群遇到的问题，随后问明情况，有一台机器上Kafka进程挂了，当时他正在lark平台上查看错误日志信息，随后我一起加入排查问题。事故起止时间：2018年xx月xx日 16时30分~2018年9月13日 ...
分类：
系统相关 时间：
2020-04-07 00:13:33
阅读次数：
113
kafka核心概念与应用场景解析 Kafka的主要特点 Kafka是分布式发布-订阅消息系统。它最初由LinkedIn公司开发，之后成为Apache项目的一部分。Kafka是一个分布式的，可划分的，冗余备份的持久性的日志服务，它主要用于处理活跃的流式数据。 kafka的主要特点： 同时为发布和订阅提 ...
分类：
其他好文 时间：
2020-04-06 17:42:09
阅读次数：
99
