码迷,mamicode.com
首页 >  
搜索关键字:spark kafka    ( 10972个结果
kafak配置说明
spring: kafka: bootstrap-servers: 112.126.74.249:9092,112.126.74.249:9093 ###########【初始化生产者配置】########### producer: # 应答级别:多少个分区副本备份完成时向生产者发送ack确认(可选 ...
分类:其他好文   时间:2021-04-21 12:08:09    阅读次数:0
Spark OneHot编码原理
python - How to interpret results of Spark OneHotEncoder - Stack Overflow ...
分类:其他好文   时间:2021-04-20 15:16:33    阅读次数:0
05 RDD编程
一、词频统计: 读文本文件生成RDD lines lines=sc.textFile("file:///usr/local/spark/mycode/rdd/word.txt") lines.foreach(print) 将一行一行的文本分割成单词 words flatmap() words=lin ...
分类:其他好文   时间:2021-04-20 14:04:55    阅读次数:0
Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources
解决问题-》有的放矢 1.spark 报错 Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient reso ...
分类:其他好文   时间:2021-04-19 15:56:23    阅读次数:0
消息队列有哪些以及比较
市场上常见的消息队列有如下: ActiveMQ:基于JMS ZeroMQ:基于C语言开发 RabbitMQ:基于AMQP协议,erlang语言开发,稳定性好 RocketMQ:基于JMS,阿里巴巴产品 Kafka:类似MQ的产品;分布式消息系统,高吞吐量 用rabbitmq比较多 ...
分类:其他好文   时间:2021-04-19 15:27:26    阅读次数:0
kafka实战
1. kafka介绍 1.1. 主要功能 根据官网的介绍,ApacheKafka®是一个分布式流媒体平台,它主要有3种功能: 1:It lets you publish and subscribe to streams of records.发布和订阅消息流,这个功能类似于消息队列,这也是kafka ...
分类:其他好文   时间:2021-04-19 14:59:09    阅读次数:0
在Windows安装运行Kafka
一、安装JAVA JDK 1、下载安装包 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 注意:根据32/64位操作系统下载对应的安装包 2、添加系统变量:JAVA_HOME=C: ...
分类:Windows程序   时间:2021-04-16 11:49:21    阅读次数:0
Kafka Eagle安装
解压压缩包 tar -zxf kafka-eagle-bin-1.2.4.tar.gz 设置全局变量,设置JDK的全局变量JAVA_HOME和本应用的KE_HOME export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.282.b08-1.el ...
分类:其他好文   时间:2021-04-14 11:53:23    阅读次数:0
如果让你写一个消息队列,该如何进行架构设计啊?说一下你的思路
比如说这个消息队列系统,我们来从以下几个角度来考虑一下 (1)首先这个mq得支持可伸缩性吧,就是需要的时候快速扩容,就可以增加吞吐量和容量,那怎么搞?设计个分布式的系统呗,参照一下kafka的设计理念,broker → topic → partition,每个partition放一个机器,就存一部分 ...
分类:其他好文   时间:2021-04-13 12:22:01    阅读次数:0
Kafka集群搭建
Kafka集群搭建 Zookeeper简介 ZooKeeper 是一个开源的分布式框架,提供了协调分布式应用的基本服务。它向外部应用 暴露一组通用服务——分布式同步(Distributed Synchronization)、命名服务(Naming Service)、集群维护(Group Mainte ...
分类:其他好文   时间:2021-04-12 11:49:15    阅读次数:0
10972条   上一页 1 ... 11 12 13 14 15 ... 1098 下一页
© 2014 mamicode.com 版权所有  联系我们:gaon5@hotmail.com
迷上了代码!