参考:尚硅谷相关课程 PPThttps://snailclimb.gitee.io/javaguide/#/docs/system-design/distributed-system/message-queue/Kafka%E5%B8%B8%E8%A7%81%E9%9D%A2%E8%AF%95%E9 ...
分类:
其他好文 时间:
2020-12-23 12:22:21
阅读次数:
0
最近项目上因为遇到数据量过大导致查询统计性能问题(oracle数据库、单表每月1亿多条车辆定位记录,由一个windows环境下的链路服务程序来接收车辆上传的定位数据写入oracle),急需使用大数据架构来解决。前期同事已经提出整体解决思路(修改链路服务程序,在写oracle的基础上同时写入kafka ...
kafka安装机器初始化参考ES安装,安装java,关闭防火墙,selinux等安装zookeeperyuminstall-ywgetwgethttps://downloads.apache.org/kafka/2.6.0/kafka_2.13-2.6.0.tgz#下载zookeepermkdir/usr/share/kafkatarzxvfkafka_2.13-2.6.0.tgz-C/usr/s
分类:
其他好文 时间:
2020-12-22 11:49:19
阅读次数:
0
搭建kafka集群 一.要先搭建zookeeper集群 搭建伪集群来熟悉搭建步骤,也就是采用一台电脑和多台电脑的区别。 1.步骤 下载 zookeeper下载:https://downloads.apache.org/zookeeper/ 这里选用的是 我这里下载的是zookeeper-3.5.7, ...
建议在用Scala编写相关功能实现时,边学习、边应用、边摸索以加深对Scala的理解和应用 ...
分类:
其他好文 时间:
2020-12-21 11:32:22
阅读次数:
0
本学习路径主要是面向大厂,掌握初中级系统架构师具备的核心技术,其中涵盖的核心内容包括:Spring Boot、缓存Redis、消息队列RabbitMQ、分布式服务调度Dubbo、注册中心与统一协调中间件ZooKeeper、综合中间件Redisson、 Guava、分布式锁、死信队列、分布式限流等等!
分类:
编程语言 时间:
2020-12-19 13:27:21
阅读次数:
6
Scala是以JVM为运行环境的面向对象的函数式编程语言,它可以直接访问Java类库并且与Java框架进行交互操作 ...
分类:
其他好文 时间:
2020-12-19 13:14:39
阅读次数:
1
https://www.cnblogs.com/importbigdata/p/10765558.html 1.kfkstreaming只能接kfk,而sparkstreaming比较通用 2.两种读取方法:1.director 效率高 2.receiver 3.写入方法:包装成可序列化类,再广播到 ...
分类:
其他好文 时间:
2020-12-19 13:02:39
阅读次数:
2
一、下载安装 1、环境准备 ZooKeeper服务器是用Java创建的,它运行在JVM之上。需要安装JDK 7或更高版本。 2、上传 将下载的ZooKeeper放到/opt/ZooKeeper目录下【示例】D:/Develop/apache-zookeeper-3.5.8-bin.tar.gz se ...
分类:
系统相关 时间:
2020-12-18 12:44:29
阅读次数:
3
描述 xxl-job elastic-job(lite) saturn 主要作者 大众点评徐雪里 当当网张亮 唯品会开源,基于elastic-job 特殊环境 mysql5.7+ zookeeper 同elastic-job 特殊功能 策略丰富,支持分片 ,子任务 支持分片,分片策略比xxl-job ...
分类:
其他好文 时间:
2020-12-18 12:27:17
阅读次数:
2