之前看 Flink Source 的 metrics 时候，看到 FlinkKafkaConsuemr 消费 Kafka 数据的代码，感觉比较有意思，就仔细看下了 大致流程如下： FlinkKafKaConsuemr 的启动流程就不细讲了，直接跳到 FlinkKafkaConsumerBase.ru ...
分类：
其他好文 时间：
2020-09-17 13:20:14
阅读次数：
29
kafka是很流行的一款消息队列和流处理组件，其生态非常丰富，今天只简单介绍一下它的安装。 一. Zookeeper安装 kafka高度依赖于Zookeeper做集群协调和分布式存储，当然kafka社区正在逐渐去掉对Zookeeper的依赖，不过至今你还是需要Zookeeper。 下载清华镜像：ht ...
用户行为日志分析是实时数据处理很常见的一个应用场景，比如常见的PV、UV统计。本文将基于Flink从0到1构建一个用户行为日志分析系统，包括架构设计与代码实现。本文分享将完整呈现日志分析系统的数据处理链路，通过本文，你可以了解到：基于discuz搭建一个论坛平台Flume日志收集系统使用方式Apache日志格式分析Flume与Kafka集成日志分析处理流程架构设计与完整的代码实现项目简介本文分享会
分类：
其他好文 时间：
2020-09-11 16:03:01
阅读次数：
41
图灵学院 java架构师学习路线 1、首先我们需要在官网上下载好我们需要的kafka，zookeeper版本的安装包。如图，百度搜索zookeeper，点击红圈所示链接进入官网，按照下图步骤点击相应红圈处，到http链接下载随意点击一个下载链接即可，本人是点击最上面的推荐链接，然后进入下载链接后选择 ...
分类：
编程语言 时间：
2020-09-04 17:08:39
阅读次数：
42
准备工作 安装librdkafka 库 git clone https://github.com/edenhill/librdkafka.git ./configure make sudo make install 安装php-rdkafka 扩展 $ git clone https://githu ...
分类：
Web程序 时间：
2020-09-04 17:01:54
阅读次数：
69
工位对面新来的阿里架构师给我上了一课：如何利用Kafka分析一个软件的实现？
分类：
其他好文 时间：
2020-09-03 16:46:03
阅读次数：
35
安装JDK 第一步：上传JDK 的linux安装包 第二步：解压到安装目录 tar -xvzf jdk-8u11-linux-x64.tar.gz -C /usr/local 第三步：配置环境变量 vim /etc/profile #配置如下内容 #set java environment JAVA ...
分类：
其他好文 时间：
2020-08-29 16:37:19
阅读次数：
73
昨天在开发的过程中，自己设计的mysql的一个表是自增主键，但是在插入数据的过程中，发现主键冲突。具体如下：我们是通过kafka作为消息队列，三个consumer，每个cosumer进行一些逻辑运算以后进行插入操作，插入到表t_a表中，mybatis使用的下面配置useGeneratedKeys="true"keyProperty="id"servcie逻辑如下，我们一次获取到多条插入数据库对象的
分类：
其他好文 时间：
2020-08-20 18:30:12
阅读次数：
66
一、filebeat学习 1.简介 Filebeat附带预构建的模块，这些模块包含收集、解析、充实和可视化各种日志文件格式数据所需的配置，每个Filebeat模块由一个或多个文件集组成，这些文件集包含摄取节点管道、Elasticsearch模板、Filebeat勘探者配置和Kibana仪表盘。 Fi ...
分类：
其他好文 时间：
2020-08-19 20:11:48
阅读次数：
115
1、背景 前阵子有园友留言，提到日志相关的东西，同时，最近圈子里也有提到日志这个东西。一个充分、集中的统一日志平台还是很有必要的，否则系统出问题了只能靠猜或者干瞪眼。何谓充分，日志记录满足最低要求、出问题方便定位、可追溯、可追责，最重要的，方便扯皮；何谓集中，各子系统或服务日志都怼到一个地方，想看日 ...
分类：
其他好文 时间：
2020-08-17 17:46:32
阅读次数：
70
