spring cloud stream整体架构核心概念图： 图一：消息的发送端和接收端可以是不同的中间件 图二： 图三：在消息的发送之前和消息的接收端套了一层管道 @Output:输出注释，用于定义发送消息接口 @Input:输入注解，用于定义消息的消费者接口 @StreamListener:用于定 ...
分类：
编程语言 时间：
2020-06-22 12:36:03
阅读次数：
48
NIO v.s. IO 传统IO： 面向流 属于阻塞IO 单向管道传输：输入流、输出流 NIO： 面向缓冲区 属于非阻塞IO 使用缓冲区在通道内传输 缓冲区 缓冲区在NIO中负责数据的存取，缓冲区就是数组，用于存储不同数据类型的值，除了boolean，都有相应类型的缓冲区。 缓冲区的核心方法：取ge ...
分类：
其他好文 时间：
2020-06-21 18:00:37
阅读次数：
70
jenkins：是开源，可扩展的持续集成、交付、部署的平台。CI/CD：持续集成/持续交付持续集成：不同开发人员将提交代码整合到系统上。持续交付：将集成后的代码部署到更贴近真实运行环境中。pipeline：管道，在管道脚本中控制服务构建的流程， 可能包括checkstyle，findbugs，dep ...
分类：
编程语言 时间：
2020-06-21 12:14:05
阅读次数：
117
顺序执行、选择执行、管道、cut 命令、grep 命令、wc 命令、sort 命令等，高效率使用 Linux 的技巧 顺序执行 只需要在命令间加; sudo apt-get update;sudo apt-get install some-tool 选择执行 另一种是要修上一条执行成功才执行下一条， ...
分类：
系统相关 时间：
2020-06-18 22:01:17
阅读次数：
69
原始RDD或数据集中的每一个分区都映射一个或多个数据文件， 该映射是在文件的一部分或者整个文件上完成的。 Spark Job RDD/datasets在执行管道中，通过根据分区到数据文件的映射读取数据输入到RDD/dataset。 如何根据某些参数确定spark的分区数？ 影响数据分区数的参数： ( ...
分类：
其他好文 时间：
2020-06-18 13:16:01
阅读次数：
66
点击下载该标准 标准编号：GB/T 38942-2020标准名称：压力管道规范 公用管道英文名称：Pressure piping code—Utility piping发布部门：国家市场监督管理总局 国家标准化管理委员会发布日期：2020-06-02实施日期：2021-01-01标准状态：现行/即将 ...
分类：
其他好文 时间：
2020-06-17 10:50:02
阅读次数：
1997
scrapy为下载的item中包含的文件提供了一个可重用的item pipeline（scrapy.pipelines.media.MediaPipeline），这些Pipeline有些共同的方法和结构。 MediaPipeline共同实现了以下特性： （1）避免重新下载最近已经下载过的数据 （2） ...
分类：
其他好文 时间：
2020-06-16 20:34:49
阅读次数：
62
pipeline 只是把多个redis指令一起发出去，redis并没有保证这些指定的执行是原子的；multi相当于一个redis的transaction的，保证整个操作的原子性，避免由于中途出错而导致最后产生的数据不一致。通过测试得知，pipeline方式执行效率要比其他方式高10倍左右的速度，启用 ...
分类：
其他好文 时间：
2020-06-16 15:19:15
阅读次数：
59
Kafka快速入门（十一）——RdKafka源码分析一、RdKafkaC源码分析1、KafkaOP队列RdKafka将与KafkaBroke的交互、内部实现的操作都封装成Operator结构，然后放入OP处理队列里统一处理。KafkaOP队列是线程间通信的管道。RdKafka队列定义在rdkafka_queue.h文件中，队列相关操作封装在rdsysqueue.h文件中。（1）KafkaOP队列t
分类：
其他好文 时间：
2020-06-15 10:12:41
阅读次数：
58
数据流重定向是将某个命令执行后应该出现在屏幕上的数据传输到其他地方。 标准输入stdin：代码为0，使用<或者<<，<表示覆盖<<表示追加 标准输出stdout：代码为1，使用>或者>>，>表示覆盖输出>>表示追加输出 标准错误输出stderr：代码为2，使用2>或者2>>，>表示覆盖输出>>表示追 ...
分类：
其他好文 时间：
2020-06-13 17:20:15
阅读次数：
63
