1.kafka是一个分布式的消息队列,缓存系统,消息的发布和订阅系统。 2.始于Linkedin公司,开源于apache。 3.包含生产者,消费者,broker。 4.每秒支持百万消息处理。 5.支持多个生成者,多个消费者,多个broker 6.生成者产生数据,按topic分类数据,对数据进行分区, ...
分类:
其他好文 时间:
2020-09-17 13:42:05
阅读次数:
36
之前看 Flink Source 的 metrics 时候,看到 FlinkKafkaConsuemr 消费 Kafka 数据的代码,感觉比较有意思,就仔细看下了 大致流程如下: FlinkKafKaConsuemr 的启动流程就不细讲了,直接跳到 FlinkKafkaConsumerBase.ru ...
分类:
其他好文 时间:
2020-09-17 13:20:14
阅读次数:
29
kafka是很流行的一款消息队列和流处理组件,其生态非常丰富,今天只简单介绍一下它的安装。 一. Zookeeper安装 kafka高度依赖于Zookeeper做集群协调和分布式存储,当然kafka社区正在逐渐去掉对Zookeeper的依赖,不过至今你还是需要Zookeeper。 下载清华镜像:ht ...
数据结构八大排序中的图解 1.排序的基本概念 2.交换类排序法 ? 1-冒泡排序 ? 2-快速排序 #include <stdio.h> #include <stdlib.h> #include <string.h> int stack[512]; int top = 0; void init_st ...
分类:
编程语言 时间:
2020-09-17 12:34:28
阅读次数:
20
随着用户对Smartbi的深入使用,客户化报表定制要求将会越来越多。定制化需求不可能总是放到产品中开发,这时候就要优先考虑使用“报表宏”去实现。本文主要用于指导报表定制人员编写报表宏,通过对本文的学习,报表定制人员可以通过编写“报表宏”来实现客户方提出的一些报表定制化开发要求。适用范围面向Smartbi使用者,一般是报表定制开发人员。学习指南1)建议请先查看报表宏功能简介了解报表宏的基本概念、使用
分类:
其他好文 时间:
2020-09-16 12:39:37
阅读次数:
40
hadoop的RPC基本概念: 1,RPC(Remote Procedure Call Protocol)--远程过程调用协议,它是一种通过网络从远程计算机程序上请求服务,而不需要了解底层网络技术的协议。RPC协议假定某些传输协议的存在,如TCP或UDP,为通信程序之间携带信息数据。在OSI网络通信 ...
分类:
其他好文 时间:
2020-09-16 12:21:20
阅读次数:
33
用户行为日志分析是实时数据处理很常见的一个应用场景,比如常见的PV、UV统计。本文将基于Flink从0到1构建一个用户行为日志分析系统,包括架构设计与代码实现。本文分享将完整呈现日志分析系统的数据处理链路,通过本文,你可以了解到:基于discuz搭建一个论坛平台Flume日志收集系统使用方式Apache日志格式分析Flume与Kafka集成日志分析处理流程架构设计与完整的代码实现项目简介本文分享会
分类:
其他好文 时间:
2020-09-11 16:03:01
阅读次数:
41
是新朋友吗?记得先点蓝字关注我哦~前言为了救出伙伴罗宾,路飞一行来到了司法岛,在与世界政府直属秘密谍报机关CP9成员之一布鲁诺对打的过程中,受到剃技能的启发,开发了二档技能——橡胶jet火箭炮。而我在上一篇文章【探寻onepiece的埋点之旅】01初识埋点——二档技能开启,主要介绍了数据埋点的常见问题、基本概念、生命周期,帮助大家对数据埋点有个基本的认识。接下来我们开始围绕埋点生命周期,进行埋点的
分类:
其他好文 时间:
2020-09-10 22:52:54
阅读次数:
39
离散数学2 集合论 第6章 集合代数 集合的基本概念 集合:把一些事物汇集到一起组成一个整体就称为集合 元素:这些食物就是集合的元素或成员 集合的表示:列举法,概括属性法,文氏图 元素与集合的关系 属于 不属于 同一层级上的两个集合之间的关系 包含,子集 相等 真子集 空集 n元集 幂集: 全集 集 ...
分类:
其他好文 时间:
2020-09-09 18:42:55
阅读次数:
51
图灵学院 java架构师学习路线 1、首先我们需要在官网上下载好我们需要的kafka,zookeeper版本的安装包。如图,百度搜索zookeeper,点击红圈所示链接进入官网,按照下图步骤点击相应红圈处,到http链接下载随意点击一个下载链接即可,本人是点击最上面的推荐链接,然后进入下载链接后选择 ...
分类:
编程语言 时间:
2020-09-04 17:08:39
阅读次数:
42