第一个文章 https://www.jdon.com/49366 在分布式系统中，重试是不可避免的，我们经常使用后台跑定时进行数据同步，同步不成功就实现重试，重试次数多少取决于你追求一致性还是可用性，如果希望两个系统之前无论如何都必须一致，那么你设置重试次数为无限,当然这是理想情况，实际情况是有重试 ...
分类：
其他好文 时间：
2020-03-06 20:09:32
阅读次数：
554
1.什么是消息队列？消息队列，英文名message queue，简称MQ。MQ是一种应用程序对应用程序的通讯方法。消息队列是分布式应用中不可或缺的组件，主要解决应用解耦、异步消息、流量削峰等问题，实现高性能、高可用、可伸缩和最终一致性的架构。常用的有RabbitMQ、Kafka、ActiveMQ、R... ...
分类：
编程语言 时间：
2020-03-06 09:16:14
阅读次数：
83
功能远超Sqoop、DataX、Flume、Logatash、Filebeat等采集工具深知其他组件的局限性，才能彰显DBus的优越感当前有很多数据采集工具（Sqoop、DataX、Flume、Logatash、Filebeat等），他们或多或少都存在一些局限性。一个共性问题是缺乏统一的数据源端管控，所以也就无法找到统一的数据入口，那后续处理元数据或者血缘分析会异常困难。除此之外，现有各种数据采集
分类：
数据库 时间：
2020-03-05 19:28:19
阅读次数：
110
先对数据分个类企业数据管理的内容及范畴通常包括交易数据、主数据以及元数据。（1）交易数据：用于纪录业务事件，如客户的订单，投诉记录，客服申请等，它往往用于描述在某一个时间点上业务系统发生的行为。（2）主数据：主数据则定义企业核心业务对象，如客户、产品、地址等，与交易流水信息不同，主数据一旦被记录到数据库中，需要经常对其进行维护，从而确保其时效性和准确性；主数据还包括关系数据，用以描述主数据之间的关
分类：
其他好文 时间：
2020-03-05 19:24:21
阅读次数：
185
目 录 1. 概述... 2 2. 原有结构（带kafka）... 2 3. 改造后的结构（去掉kafka）... 3 4. 对比... 4 1. 概述 我们主要面向钢铁行业工业互联网公有云和私有去建设，偏向PAAS层和SAAS层应用，框架是支撑这个体系建设。现在我们的公有云的IAAS资源层使用的是 ...
分类：
其他好文 时间：
2020-03-05 13:56:22
阅读次数：
96
最近在研究kafka，看了一堆理论的东西，想动手实践一些东西，奈何手上的数据比较少，突发奇想就打算写个爬虫去抓一些数据来玩，顺便把深入一下爬虫技术。 之前写过一些小爬虫，一般就是用python的requests+lxml来爬取数据。这次打算学一下python的scrapy框架来爬取数据。解析网页内容 ...
分类：
其他好文 时间：
2020-03-05 13:19:59
阅读次数：
76
条件：搭建好kafka环境 搭建zookeeper+kafka地址：https://www.cnblogs.com/weibanggang/p/12377055.html 1、java无注解方式 加入kafka包： <dependency> <groupId>org.apache.kafka</gr ...
分类：
编程语言 时间：
2020-03-04 23:07:57
阅读次数：
100
1. 概述 Apache Kafka 是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统。其具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 笔者之前在物联网公司工作，其中 Kafka 作为物联网 MQ 选型的事实标准，这里优先给大家搭建 Kafka 集群 ...
分类：
其他好文 时间：
2020-03-04 21:21:23
阅读次数：
69
1.Kafka文件存储基本结构 1）在Kafka文件存储中，同一个topic下有多个不同partition，每个partition为一个目录，partiton命名规则为topic名称+有序序号，第一个partiton序号从0开始，序号最大值为partitions数量减1 2）每个partion(目录 ...
分类：
其他好文 时间：
2020-03-03 22:34:12
阅读次数：
102
[TOC] 介绍 Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。 Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 安装 集群，需要把集群状态保存在 上，所以需要先安装 。 环境准备 主机名 | 系统 | I ...
分类：
其他好文 时间：
2020-03-03 20:52:02
阅读次数：
83
