The Kafka cluster stores streams of records in categories called topics. Each record consists of a key, a value, and a timestamp. Kafka has four core ...
分类:
其他好文 时间:
2019-10-31 01:04:43
阅读次数:
141
今天写文件读写测试程序的时候遇到一个问题,编译程序一直报错如下信息: 出现这种情况的原因是module、类名或者源文件名与系统中的库有名称冲突,只要稍作修改即可 这里是因为io.py冲突,改成io666.py后编译就顺利通过了。 参考链接: https://blog.csdn.net/alphath ...
分类:
其他好文 时间:
2019-10-27 13:01:57
阅读次数:
70
No output streams registered, so nothing to execute解决原因:没有触发DStream需要的aciton解决方法:使用以下方法之一触发: ...
分类:
编程语言 时间:
2019-10-25 16:21:05
阅读次数:
75
1.3.2 ReactorReactor与Spring是兄弟项目,侧重于Server端的响应式编程,主要 artifact 是 reactor-core,这是一个基于 Java 8 的实现了响应式流规范 (Reactive Streams specification)的响应式库。本文对Reactor ...
分类:
其他好文 时间:
2019-10-23 13:36:24
阅读次数:
87
使用者 是一种处理 Kinesis 数据流中的所有数据的应用程序。当使用者使用增强型扇出功能 时,它会获取其自己的 2 MiB/秒的读取吞吐量配额,从而允许多个使用者并行读取相同流中的数据,而不必与其他使用者争用读取吞吐量。默认情况下,流中的每个分片均提供 2 MiB/秒的读取吞吐量。此吞吐量跨正在 ...
分类:
其他好文 时间:
2019-10-07 21:14:20
阅读次数:
116
服务器端加密是 Amazon Kinesis Data Streams 中的一项功能,此功能在数据成为静态数据之前使用您指定的 AWS KMS 客户主密钥 (CMK) 自动对数据进行加密。数据在写入 Kinesis 流存储层之前加密,并在从存储检索到之后进行解密。因此,在 Kinesis Data ...
分类:
其他好文 时间:
2019-10-03 12:46:07
阅读次数:
122
Kinesis Data Streams 高级别架构 下图演示 Kinesis Data Streams 的高级别架构。创建器会持续将数据推送到 Kinesis Data Streams,并且使用者 可实时处理数据。使用者(如在 Amazon EC2 上运行的自定义应用程序或 Amazon Kine ...
分类:
其他好文 时间:
2019-10-03 12:21:33
阅读次数:
132
1. kafka介绍 1.1. 主要功能 根据官网的介绍,ApacheKafka®是一个分布式流媒体平台,它主要有3种功能: 1:It lets you publish and subscribe to streams of records.发布和订阅消息流,这个功能类似于消息队列,这也是kafka ...
分类:
其他好文 时间:
2019-10-02 00:30:40
阅读次数:
203
前言 接上篇文章 "java8 新特性" 由于上篇过于庞大,使得重点不够清晰,本篇单独拿出 java8 的 Stream 重点说明 ,并做了点补充。 基本说明 Stream 是基于 java8 的 lambda 表达式的,如果不清楚 lambda 表达式,可以查看我的上篇文章 "Lambda 表达式 ...
分类:
编程语言 时间:
2019-09-24 20:57:57
阅读次数:
139
目的 记录学习hadoop过程中遇到的基础问题,无关大小、无关困扰时间长短。 问题一 全分布式环境中运行mapred程序,报异常:java.net.NoRouteToHostException: 没有到主机的路由 在全分布式环境中运行mapred程序,报异常:java.net.NoRouteToHo ...
分类:
其他好文 时间:
2019-09-14 19:02:52
阅读次数:
133