Sqoop 在hadoop和关系型数据库之间转换数据 Flume Flume是一个分布式的高可用的数据收集、聚集和移动的工具。通常用于从其他系统搜集数据，如web服务器产生的日志，通过Flume将日志写入到Hadoop的HDFS中 Canal 数据抽取是 ETL 流程的第一步。我们会将数据从 RDB ...
分类：
其他好文 时间：
2020-09-17 18:33:30
阅读次数：
37
1.kafka是一个分布式的消息队列，缓存系统，消息的发布和订阅系统。 2.始于Linkedin公司，开源于apache。 3.包含生产者，消费者，broker。 4.每秒支持百万消息处理。 5.支持多个生成者，多个消费者，多个broker 6.生成者产生数据，按topic分类数据，对数据进行分区， ...
分类：
其他好文 时间：
2020-09-17 13:42:05
阅读次数：
36
kafka是很流行的一款消息队列和流处理组件，其生态非常丰富，今天只简单介绍一下它的安装。 一. Zookeeper安装 kafka高度依赖于Zookeeper做集群协调和分布式存储，当然kafka社区正在逐渐去掉对Zookeeper的依赖，不过至今你还是需要Zookeeper。 下载清华镜像：ht ...
虚拟币交易所作为整个区块链行业发展过程中的资金与信息导流入口，也是数字加密资产市场价值迸发的助推动力，理应服务于广大投资者的根本利益，为优质区块链项目提供良好便捷的融资环。虚拟币交易所开发有哪些类型模式？1.币币交易：交易所开发V：jys-wu指虚拟货币之间（如用比特币购买以太币或反之）的交易。法币交易和币币交易可通过场外或场内的交易方式进行。2.场内交易：又称交易所交易；在虚拟货币交易平台上进行
分类：
其他好文 时间：
2020-09-17 13:07:34
阅读次数：
28
虽然redis实现了发布订阅（publish/subscribe）的功能，但是在通常的情况下是不推荐使用的，如果想使用消息队列这种功能，最好还是使用专业的各种MQ中间件，例如rabbitMQ，rockedMQ,activitedMQ等，本文主要讲一下不推荐使用redis的发布订阅功能的原因。 概要说 ...
分类：
其他好文 时间：
2020-09-17 10:48:25
阅读次数：
55
昨天在开发的过程中，自己设计的mysql的一个表是自增主键，但是在插入数据的过程中，发现主键冲突。具体如下：我们是通过kafka作为消息队列，三个consumer，每个cosumer进行一些逻辑运算以后进行插入操作，插入到表t_a表中，mybatis使用的下面配置useGeneratedKeys="true"keyProperty="id"servcie逻辑如下，我们一次获取到多条插入数据库对象的
分类：
其他好文 时间：
2020-08-20 18:30:12
阅读次数：
66
1.模式说明 应用场景：对于 任务过重或任务较多情况使用工作队列可以提高任务处理的速度 只有3个角色：P：生产者，也就是要发送消息的程序C：消费者：消息的接受者，会一直等待消息到来。queue：消息队列，图中红色部分 2.应用举例 Producer: 1 /** 2 * 发送消息 3 */ 4 pu ...
分类：
其他好文 时间：
2020-08-18 13:51:39
阅读次数：
63
yuanwenlianjie:https://www.cnblogs.com/wt645631686/p/13473186.html 什么是消息延迟？ 消息队列在消费过程中大量堆积就是消息延迟，也就是消费的频率跟不上生产。比方说，生产者向队列中一共生产了1000条消息，某一个消费者消费进度是900条 ...
分类：
其他好文 时间：
2020-08-12 15:57:39
阅读次数：
57
本文已收录GitHub，更有互联网大厂面试真题，面试攻略，高效学习资料等之前曾写过高并发系统设计的三个通用方法：缓存、异步和横向扩展，到目前为止，你接触到了缓存的使用姿势，也了解了，如何使用消息队列异步处理业务逻辑，那么本文将带你了解一下，如何提升系统的横向扩展能力。在之前的文章中就曾提到过提升系统横向扩展能力的一些案例。比如，可以通过部署多个从库的方式，来提升数据库的扩展能力，从而提升数据库的查
分类：
其他好文 时间：
2020-08-05 13:14:29
阅读次数：
65
RabbitMQ是什么？ MQ（Message Queue,消息队列）消息中间件，一般以集群方式部署，主要提供消息的接受和发送，实现各微服务之间的消息同步。 原理介绍 rabbitmq是依据erlang的分布式特性（RabbitMQ底层是通过Erlang架构来实现的，所以rabbitmqctl会启动 ...
分类：
其他好文 时间：
2020-08-04 16:52:47
阅读次数：
96
