Apache Kafka 架构和相关概念 Apache Kafka 是一款开源的分布式消息引擎系统 消息引擎的同类 ActiveMQ RabbitMQ WebSphere MQ Rocket MQ JMS仅仅是一组 API 协议 消息引擎的作用 削峰填谷 缓冲上下游瞬时突发流量，使其更平滑.特别是对 ...
分类：
Web程序 时间：
2020-07-28 00:19:27
阅读次数：
86
安装kafka之前确保安装环境已经安装好jdk以及zk，并启动，以上有详细步骤，这里不再重复. zk安装地址https://blog.csdn.net/LXYuuuuu/article/details/107605769 上传相应kafka安装包到/export/software/ tar -zxv ...
分类：
其他好文 时间：
2020-07-27 13:52:32
阅读次数：
95
前言 所谓天才，只不过是把别人喝咖啡的功夫都用在工作上了。—— 鲁迅 一、nb_log介绍 非常好用的日志记录模块 作者自诉：在python日志的使用和理解上，能够和我打成平手的，国内没有几人（赞同） 二、功能简介： 自动转换print效果，再也不怕有人在项目中随意print，导致很难找到是从哪里冒 ...
分类：
编程语言 时间：
2020-07-27 09:49:44
阅读次数：
161
1.官网 http://kafka.apache.org/ 2.介绍 一个分布式的流平台 3.特点 具有高吞吐量，高性能，实时，高可靠 二：安装 1.全部上传 2.全部解压 3.安装jdk 4.zookeeper的安装 进入zookeeper的目录下的conf中 将zoo_sample.cfg拷贝一 ...
分类：
其他好文 时间：
2020-07-27 09:19:58
阅读次数：
65
Kafka 0.10.1版本源码 Idea编译 1.环境准备 Jdk 1.8 Scala 2.11.12：下载scala-2.11.12.msi并配置环境变量 Gradle 5.6.4： 下载Gradle-5.6.4并配置环境变量 2.配置文件修改 -gradle.properties文件中 sca ...
分类：
其他好文 时间：
2020-07-26 00:28:42
阅读次数：
75
月初的时候，Flink 终于发布 1.11.0 版本， CDC 的功能还是比较期待的（虽然比预期差很多） 当然是升级一波了 最新的代码已经上传到 GitHub ： https://github.com/springMoon/sqlSubmit 跑 sqlSubmit 的代码，随便来个 kafka t ...
分类：
数据库 时间：
2020-07-26 00:01:52
阅读次数：
179
kafka配置双监听 由于公司需要在其他城市开通业务所以另外开了一个数据库但是kafka消费想直接使用旧的项目，以免多部署一个项目占用服务器内存空间。 首先先在配置文件中配置2个kafka的ip端口等信息 spring.kafka.xx.bootstrap-servers=xxx.xxx.x.x:x ...
分类：
其他好文 时间：
2020-07-24 10:03:45
阅读次数：
71
#source的名字 agent.sources = kafkaSource # channels的名字，建议按照type来命名 agent.channels = memoryChannel # sink的名字，建议按照目标来命名 agent.sinks = hdfsSink # 指定source使 ...
分类：
Web程序 时间：
2020-07-23 22:28:11
阅读次数：
105
1 问题描述 环境Linux+fcitx，JetBrains的IDE无法输入中文，包括IDEA，PyCharm，WebStorm，CLion等等。 2 解决方案 Linux下一般使用fcitx进入中文输入，安装的时候教程一般都会提到以下三个环境变量： export XMODIFIERS="@im=f ...
分类：
其他好文 时间：
2020-07-23 18:58:42
阅读次数：
103
一、Kafka 简介 1.基本概念 Kafka 是一个分布式的基于发布/订阅消息系统，主要应用于大数据实时处理领域，其官网是：http://kafka.apache.org/。Kafka 是一个分布式、支持分区的（Partition）、多副本的（Replica），基于 ZooKeeper 协调的发布 ...
分类：
编程语言 时间：
2020-07-22 15:56:17
阅读次数：
64
