简介 WSO2MI(Micro Integrator)是一个事件驱动的企业服务总线(Enterprise Service Bus),支持消息路由、数据格式转换、通信协议转换,支持连接SAP、KAFKA、FTP、Restful API等。 数据格式,可支持xml、json、csv等等 通信协议,可支持 ...
分类:
其他好文 时间:
2020-06-05 00:55:55
阅读次数:
129
本教程演示了如何使用 Druid 的 Kafka indexing 服务从 Kafka 流中加载数据至 Druid。
分类:
其他好文 时间:
2020-06-05 00:53:38
阅读次数:
87
今天给大家分享一个大数据里面很火的技术——Kafka,Kafka是一个分布式的消息系统,其高性能在圈内很出名。本人阅读过多个大数据生态的开源技术的源码,个人感觉Kafka的源码质量是比较高的一个,如果有同学感兴趣的话,可以拿来阅读一下。网上也有不少的文章分析Kafka的性能为什么那么好,但是我感觉很多文章都没说到点上,所以今天借着这个机会跟大家交流一下kafka的性能为什么那么好?优秀设计之基于N
分类:
其他好文 时间:
2020-06-04 21:57:26
阅读次数:
100
kafka的高可用 一、高可用的由来 1.1 为何需要Replication 在Kafka在0.8以前的版本中,是没有Replication的,一旦某一个Broker宕机,则其上所有的Partition数据都不可被消费,这与Kafka数据持久性及Delivery Guarantee的设计目标相悖。同 ...
分类:
其他好文 时间:
2020-06-04 20:10:00
阅读次数:
56
keys命令 keys * 、keys id:* 分别是查询全部的key以及查询前缀为id:的key。 缺点: 1、没有 offset、limit 参数,一次返回所有满足条件的 key。 2.keys算法是遍历算法,复杂度是O(n),也就是数据越多,时间复杂度越高。 3.数据量达到几百万,keys这 ...
分类:
其他好文 时间:
2020-06-04 19:45:43
阅读次数:
113
一、kafka 介绍 1.1、kafka 介绍 Kafka 是一个分布式消息引擎与流处理平台,经常用做企业的消息总线、实时数据管道,有的还把它当做存储系统来使用。 早期 Kafka 的定位是一个高吞吐的分布式消息系统,目前则演变成了一个成熟的分布式消息引擎,以及流处理平台。 Kafka 主要起到削峰 ...
分类:
其他好文 时间:
2020-06-04 19:38:12
阅读次数:
162
SELECT TOP 10 st.text AS SQL_Full, SUBSTRING( st.text, (qs.statement_start_offset / 2) + 1, ((CASE statement_end_offset WHEN -1 THEN DATALENGTH(st.tex ...
分类:
数据库 时间:
2020-06-04 14:12:40
阅读次数:
91
#!/bin/bash startT=`date +%Y-%m-%dT%H:%M:%S`echo "TIMESTAMP CONTAINER ID NAME CPU % MEM USAGE / LIMIT MEM % NET I/O BLOCK I/O PIDS\n">>mem.$startT.txt ...
分类:
系统相关 时间:
2020-06-04 13:28:52
阅读次数:
63
#导语: 已经通过报的方式安装了mysql,装完之后有些安全设置必须要做。 装完以后数据库已经可以使用了,但是有安全风险。 风险在访问数据库不需要任何信息就可以访问。 [10:17:02 root@C8[ ~]#mysql Welcome to the MariaDB monitor. Comman ...
分类:
数据库 时间:
2020-06-04 13:26:45
阅读次数:
85
Kafka是一个高吞吐量的分布式的发布订阅消息系统,在全世界都很流行,在大数据项目里面使用尤其频繁。笔者看过多个大数据开源产品的源码,感觉Kafka的源码是其中质量比较上乘的一个,这得益于作者高超的编码水平和高超的架构设计能力。Kafka的核心源码分为两部分:客户端源码和服务端源码,客户端又分为生产者和消费者,而个人认为Kafka的源码里面生产者的源码技术含量最高,所以今天给大家剖析Kafka的生
分类:
其他好文 时间:
2020-06-04 01:31:44
阅读次数:
50