特性如下: 可线性伸缩至超过数百个节点; 实现亚秒级延迟处理; 可与Spark批处理和交互式处理无缝集成; 提供简单的API实现复杂算法; 更多的流方式支持,包括Kafka、Flume、Kinesis、Twitter、ZeroMQ等。 原理 Spark在接收到实时输入数据流后,将数据划分成批次(di ...
分类:
Web程序 时间:
2020-06-26 01:31:54
阅读次数:
136
发布一个k8s部署视频:https://edu.csdn.net/course/detail/26967 课程内容:各种k8s部署方式。包括minikube部署,kubeadm部署,kubeasz部署,rancher部署,k3s部署。包括开发测试环境部署k8s,和生产环境部署k8s。 腾讯课堂连接地 ...
分类:
其他好文 时间:
2020-06-25 21:17:23
阅读次数:
116
本文用的spring boot版本: 2.3.1.RELEASE 1、spring boot可执行jar的内容 1.1、怎么打包成可执行jar spring boot提供了一个spring-boot-maven-plugin的插件,用于将spring boot程序打包成可执行的jar包(fat ja ...
分类:
编程语言 时间:
2020-06-25 17:53:51
阅读次数:
55
这几天一直在忙别的事,完事了,看了点文件系统相关的部分,就看看 read 在内核里面的实现 这是大概的函数调用链,但是我不会一个一个全部去分析,我只看主要的 man 手册描述 via:https://man7.org/linux/man-pages/man2/read.2.html NAME rea ...
分类:
系统相关 时间:
2020-06-25 17:39:42
阅读次数:
113
一.前言 前文探究了非阻塞算法的实现ConcurrentLinkedQueue安全队列,也说明了阻塞算法实现的两种方式,使用一把锁(出队和入队同一把锁ArrayBlockingQueue)和两把锁(出队和入队各一把锁LinkedBlockingQueue)来实现,今天来探究下ArrayBlockin ...
分类:
编程语言 时间:
2020-06-25 12:10:12
阅读次数:
95
第十一章 ROS Navigation源码解析 本章主要讲述 ROS Navigation源码解析,并在Squatina平台上实践验证。 本章内容规划: 11.1节,导航框架概述 11.2节,MoveBase源码阅读 11.3节,Map_Server包源码分析 11.4节,COSTMAP包源码分析 ...
分类:
其他好文 时间:
2020-06-24 20:01:55
阅读次数:
100
一. servlet 3.0 的使用 1.1 环境搭建: servlet跟spring没有任何关系,我创建一个servlet可以不依赖spring,现在搭建一个纯的servlet项目,并实现简单的类似springMVC的功能: 引入依赖: <dependency> <groupId>javax.se ...
分类:
编程语言 时间:
2020-06-24 15:55:11
阅读次数:
64
1.ArrayList底层结构和源码分析 ArrayList的全面说明 1) Resizable-array implementation of the List interface [ArrayList实现了List的接口,底层是一个数组,并实现可变的功能.] ArrayList 属性 : tra ...
分类:
其他好文 时间:
2020-06-24 14:07:44
阅读次数:
58
Nifi生产环境使用 1、服务器日志目录内的 log 文件中,我们使用 Apache Flume 这个工具将原始数据抽取出来 kafka sink , 2、Nifi接入kafka数据。 首先做验证,然后过滤格式错误记录,然后路由不同的日志类型. nifi能做到这些的关键在于它的 flowfile 这 ...
分类:
其他好文 时间:
2020-06-23 15:17:07
阅读次数:
98
采集数据到HDFS 安装flume在虚拟机hdp-1中, 打开SFTP-hdp-1窗口,将fllume压缩包导入到虚拟机hdp-1的/root/目录中. 解压flume压缩包到/root/apps/下,命令: tar -xvzf apache-flume-1.6.0-bin.tar.gz -C ap ...
分类:
其他好文 时间:
2020-06-23 13:03:55
阅读次数:
59