承接上文 在上一篇 "文章" 中，我们谈了下Kafka客户端连接后端Broker的认证，导致的无法建立连接的出现原因，了解了为什么无法通过认证，即：客户端未携带与 Zookeeper 中存储的 Broker 连接认证信息 有朋友可能会问了，我知道了这个原理了，知道需要为客户端主机添加 hosts 映 ...
分类：
其他好文 时间：
2020-03-09 13:45:28
阅读次数：
80
1.kafka概述##1.1kafka简介ApacheKafka是一个快速、可扩展的、高吞吐的、可容错的分布式“发布-订阅”消息系统，使用Scala与Java语言编写，能够将消息从一个端点传递到另一个端点，较之传统的消息中间件(例如ActiveMQ、RabbitMQ)，Kafka具有高吞吐量、内置分区、支持消息副本和高容错的特性，非常适合大规模消息处理应用程序。Kafka官网:http://kaf
分类：
其他好文 时间：
2020-03-09 13:12:17
阅读次数：
58
[toc] 1. "Kafka简介" Kafka是一种计算框架，结合了之前的MapReduce批处理和流式计算为一体，可以处理历史数据和实时数据。 流平台具有三个关键功能： 发布和订阅记录流，类似于消息队列或企业消息传递系统。 以容错的持久方式存储记录流。 处理记录流。 Kafka通常用于两大类应用 ...
分类：
其他好文 时间：
2020-03-07 21:04:52
阅读次数：
77
一：推文 Kafka学习之路 （一）Kafka的简介 Kafka学习之路 （二）Kafka的架构 Kafka学习之路 （三）Kafka的高可用 Kafka学习之路 （四）Kafka的安装 Kafka学习之路 （五）Kafka在zookeeper中的存储 二：Kafka架构原理 （一）Kafka应用场 ...
分类：
其他好文 时间：
2020-03-07 16:22:14
阅读次数：
77
引用：https://www.cnblogs.com/adolfmc/p/7345333.html 创建一个消息队列： bin/kafka-topics.sh --create --replication-factor 1 --partitions 1 --topic test --zookeepe ...
分类：
其他好文 时间：
2020-03-07 10:13:38
阅读次数：
73
第一个文章 https://www.jdon.com/49366 在分布式系统中，重试是不可避免的，我们经常使用后台跑定时进行数据同步，同步不成功就实现重试，重试次数多少取决于你追求一致性还是可用性，如果希望两个系统之前无论如何都必须一致，那么你设置重试次数为无限,当然这是理想情况，实际情况是有重试 ...
分类：
其他好文 时间：
2020-03-06 20:09:32
阅读次数：
554
1.什么是消息队列？消息队列，英文名message queue，简称MQ。MQ是一种应用程序对应用程序的通讯方法。消息队列是分布式应用中不可或缺的组件，主要解决应用解耦、异步消息、流量削峰等问题，实现高性能、高可用、可伸缩和最终一致性的架构。常用的有RabbitMQ、Kafka、ActiveMQ、R... ...
分类：
编程语言 时间：
2020-03-06 09:16:14
阅读次数：
83
先对数据分个类企业数据管理的内容及范畴通常包括交易数据、主数据以及元数据。（1）交易数据：用于纪录业务事件，如客户的订单，投诉记录，客服申请等，它往往用于描述在某一个时间点上业务系统发生的行为。（2）主数据：主数据则定义企业核心业务对象，如客户、产品、地址等，与交易流水信息不同，主数据一旦被记录到数据库中，需要经常对其进行维护，从而确保其时效性和准确性；主数据还包括关系数据，用以描述主数据之间的关
分类：
其他好文 时间：
2020-03-05 19:24:21
阅读次数：
185
目 录 1. 概述... 2 2. 原有结构（带kafka）... 2 3. 改造后的结构（去掉kafka）... 3 4. 对比... 4 1. 概述 我们主要面向钢铁行业工业互联网公有云和私有去建设，偏向PAAS层和SAAS层应用，框架是支撑这个体系建设。现在我们的公有云的IAAS资源层使用的是 ...
分类：
其他好文 时间：
2020-03-05 13:56:22
阅读次数：
96
最近在研究kafka，看了一堆理论的东西，想动手实践一些东西，奈何手上的数据比较少，突发奇想就打算写个爬虫去抓一些数据来玩，顺便把深入一下爬虫技术。 之前写过一些小爬虫，一般就是用python的requests+lxml来爬取数据。这次打算学一下python的scrapy框架来爬取数据。解析网页内容 ...
分类：
其他好文 时间：
2020-03-05 13:19:59
阅读次数：
76
