package com.bjsxt.sparkstreaming; /** * 向kafka中生产数据 * @author root * */public class SparkStreamingDataManuallyProducerForKafka extends Thread{ static ...
分类：
其他好文 时间：
2018-07-22 14:08:18
阅读次数：
151
一,kafka是什么？ kafka是一个高吞吐的分布式消息队列系统。二,特点： 是生产者消费者模式，先进先出（FIFO）保证顺序，自己不丢数据，默认每隔7天清理数据。三,消息列队常见场景： 系统之间解耦合、 峰值压力缓冲、 异步通信。四,Spark Streaming + kafka优点： 解耦 缓 ...
分类：
其他好文 时间：
2018-07-22 14:03:26
阅读次数：
154
redis按照正则批量删除key redis客户端--jedis 在Spark结构化流readStream、writeStream 输入输出，及过程ETL Spark Structured Streaming入门编程指南 Structured Streaming 实现思路与实现概述 Spark结构式 ...
分类：
其他好文 时间：
2018-07-21 00:46:53
阅读次数：
171
在Spark1.3之前，默认的Spark接收Kafka数据的方式是基于Receiver的，在这之后的版本里，推出了Direct Approach，现在整理一下两种方式的异同。 1. Receiver-based Approach val kafkaStream = KafkaUtils.create ...
分类：
其他好文 时间：
2018-07-20 11:36:06
阅读次数：
155
kafka 服务相关的命令 # 开启kafka的服务器bin/kafka-server-start.sh -daemon config/server.properties &# 创建topicbin/kafka-topics.sh --create --zookeeper bigdata-senio ...
分类：
其他好文 时间：
2018-07-16 14:04:31
阅读次数：
332
Spark Streaming + Kafka集成指南 Kafka项目在版本0.8和0.10之间引入了一个新的消费者API，因此有两个独立的相应Spark Streaming包可用。请选择正确的包， 请注意，0.8集成与后来的0.9和0.10代理兼容，但0.10集成与早期的代理不兼容。 注意：从Sp ...
分类：
其他好文 时间：
2018-07-16 00:30:40
阅读次数：
238
redis按照正则批量删除key redis客户端--jedis 在Spark结构化流readStream、writeStream 输入输出，及过程ETL Spark Structured Streaming入门编程指南 Structured Streaming 实现思路与实现概述 Spark结构式 ...
分类：
其他好文 时间：
2018-07-16 00:29:26
阅读次数：
159
1.概述 Spark Streaming的主要应用方向是实时计算.这代表一个Spark Streaming应用必然是对执行性能和运行稳定性(7 x 24)有一定要求的 2.性能 在性能方面,主要是合理的利用的集群资源,设置正确的批处理大小(提升并行度)和减少每个批次的处理时间(计算逻辑优化).以让数 ...
分类：
其他好文 时间：
2018-07-15 16:13:54
阅读次数：
206
缓存 缓存就是数据交换的缓冲区（称作Cache） 缓存工作的原则，就是 “引用的局部性”，这可以分为时间局部性和空间局部性。 CPU 缓存、网络缓存、磁盘缓存、数据缓存、WEB缓存等。 web 应用缓存场景 访问一个地址 从浏览器缓存 路由缓存 DNS缓存 递归搜索 web缓存 数据缓存 一、HTT ...
分类：
其他好文 时间：
2018-07-13 17:32:32
阅读次数：
151
一、官网介绍 Which protocols does RabbitMQ support? RabbitMQ supports several messaging protocols, directly and through the use of plugins. This page descri ...
分类：
其他好文 时间：
2018-07-13 16:22:25
阅读次数：
2329
