RabbitMQ 是一款优秀的消息中间件。相比于 kafka 更好上手，相比于 ActiveMQ 拥有更好的性能。 RabbitMQ 支持单机部署，集群部署。 集群部署有包括 ： 普通模式（多节点集群）、镜像集群。 节点分为 ： 磁盘节点（disc） 和 内存节点 (RAM)。 镜像集群其实也是 镜 ...
分类：
其他好文 时间：
2020-06-24 00:25:28
阅读次数：
55
Kafka-分区分配规则 kafka的基本存储单元是分区。分区无法在多个broker间进行再细分，也无法在同一个broker的多个磁盘上进行再细分。所以，分区的大小受到单个挂载点可用空间的限制。 在配置kafka的时候，使用log.dirs参数来配置用于存储分区的目录清单。 分区分配 在创建主题时， ...
分类：
其他好文 时间：
2020-06-23 22:53:00
阅读次数：
73
舆情爬虫分析：硬件: 4台服务器,分别放redis、python爬虫、mysql和 kafka四大板块。软件:1. mysql2. redis #leap1 /usr/bin/redis-cli /usr/bin/redis-server redis 3.1.103 64 bit 3. python ...
分类：
编程语言 时间：
2020-06-23 17:22:37
阅读次数：
57
Nifi生产环境使用 1、服务器日志目录内的 log 文件中,我们使用 Apache Flume 这个工具将原始数据抽取出来 kafka sink , 2、Nifi接入kafka数据。 首先做验证,然后过滤格式错误记录,然后路由不同的日志类型. nifi能做到这些的关键在于它的 flowfile 这 ...
分类：
其他好文 时间：
2020-06-23 15:17:07
阅读次数：
98
第四天kafka知识 Producer基础的案例 1 Producer的小案例 电商系统，会员，凡是能登录的人都是会员。 你消费了多少钱，那么就给给你累计多少积分。 比如，你消费了1000块钱，那么同时给你找个会员号1000积分 1.1 在kafka里面，我们发送消息的时候，可以给消息指定key，也 ...
分类：
其他好文 时间：
2020-06-23 01:14:29
阅读次数：
76
一、Kafka持久化概述 Kakfa 依赖文件系统来存储和缓存消息。对于硬盘的传统观念是硬盘总是很慢，基于文件系统的架构能否提供优异的性能？实际上硬盘的快慢完全取决于使用方式。同时 Kafka 基于 JVM 内存有以下缺点： 对象的内存开销非常高，通常是要存储的数据的两倍甚至更高 随着堆内数据的增加 ...
分类：
其他好文 时间：
2020-06-22 18:56:23
阅读次数：
70
恢复内容开始 kafka源码解读 一. 概述 1.前言 在大数据的场景里面如何应对数据激增，数据复杂度增加以及数据变化速率变快，这都是体现了大 数据架构师，Java架构师的功力。而Kafka能很好的解决这些问题。 Kafka的源码是众多开源的技术里面代码质量比较高的一个，所以本身研究它的源码就比较有 ...
分类：
其他好文 时间：
2020-06-22 12:49:59
阅读次数：
79
Kafka架构在硬件选择方面，以重要性顺序考虑以下4点： 1) 磁盘（最重要）。影响最大的事生产者，读写速度。需参考多个分区、多个目录，如一个分区每天生产1TB数据，10天就是10GB，再乘以分区数量。 2）网络。生产者、消费者写入、读取速度 3）内存。影响消费者，因为生产者如果写不了内存可以写磁盘 ...
分类：
其他好文 时间：
2020-06-22 01:34:55
阅读次数：
49
数据来源层 数据库 日志 视频，ppt 数据传输层 Sqoop数据传递 Flume日志收集 kafka消息队列 数据存储层 HDFS文件存储 HBase非关系型数据库 kafka（存储少量数据） 资源管理层 YARN资源管理 数据计算层 MapReduce离线计算 Hive数据查询 Mahout数据 ...
分类：
其他好文 时间：
2020-06-22 00:56:04
阅读次数：
83
