启动步骤解析 1、解析配置，包括job.json、core.json、plugin.json三个配置 2、设置jobId到configuration当中 3、启动Engine，通过Engine.start()进入启动程序 4、设置RUNTIME_MODE奥configuration当中 5、通过Jo ...
分类：
其他好文 时间：
2020-06-18 19:20:53
阅读次数：
195
Answer: C Explanation: SELECT ename,dname FROM emp CROSS JOIN dept 笛卡尔积共计 4 * 14 = 56 行 WHERE job='MANAGER' 带条件，一共过滤出12行。(3行经理数据 * 4行dept表数据)。 最后AND条件 ...
分类：
其他好文 时间：
2020-06-18 16:05:33
阅读次数：
60
原始RDD或数据集中的每一个分区都映射一个或多个数据文件， 该映射是在文件的一部分或者整个文件上完成的。 Spark Job RDD/datasets在执行管道中，通过根据分区到数据文件的映射读取数据输入到RDD/dataset。 如何根据某些参数确定spark的分区数？ 影响数据分区数的参数： ( ...
分类：
其他好文 时间：
2020-06-18 13:16:01
阅读次数：
66
-- 2020年3月26日 AM 0、知识回顾 select * from emp; insert into emp(empno, ename, job) values (22, kk, pp); insert into emp(empno, ename, job) select * from de ...
分类：
其他好文 时间：
2020-06-16 19:59:14
阅读次数：
80
1.基于Receiver的方式 这种方式使用Receiver来接收kafka中的数据，Receiver是基于kafka的高层Consumer API来实现的。Receiver从Kafka中获取的数据都是存储在Spark Executor的内存中的，然后Spark Streaming启动的job会去处 ...
分类：
其他好文 时间：
2020-06-15 22:58:10
阅读次数：
60
INTERVAL参数设置： 每天运行一次 'SYSDATE + 1'每小时运行一次 'SYSDATE + 1/24'每10分钟运行一次 'SYSDATE + 10/（60*24）'每30秒运行一次 'SYSDATE + 30/(60*24*60)'每隔一星期运行一次 'SYSDATE + 7'每个月 ...
分类：
数据库 时间：
2020-06-14 20:19:52
阅读次数：
166
redis安装小结 下载,解压,编译,修改配置文件,注册为服务 redis6的安装详细说明(个人认为) 到目前阿里云镜像里redis-server版本好像还不是6.0以上的,要用最新的只能自己折腾 用命令查看apt中redis-server的版本apt-cache madison redis-ser ...
分类：
系统相关 时间：
2020-06-14 01:08:07
阅读次数：
200
6.Harbor配置6.1.harbor01节点1.修改harbor.cfgcat>/root/harbor/harbor.cfg<<-‘EOF‘_version=1.5.0hostname=reg.xgmin.comui_url_protocol=httpsmax_job_workers=50customize_crt=offssl_cert=/data/cer
分类：
其他好文 时间：
2020-06-12 16:11:26
阅读次数：
55
题目 Shuffling is a procedure used to randomize a deck of playing cards. Because standard shuffling techniques are seen as weak, and in order to avoid " ...
分类：
系统相关 时间：
2020-06-11 16:17:02
阅读次数：
66
日常开发中难免会碰到需要开启定时任务处理业务。这时我们第一时间想到的是Spring的Task，但是很不方便，这里可以列出几点： 1.一旦需要更改定时任务时间，我们就要打开IDE修改cron表达式； 2.在特殊的情况下代码报错了，我们就要打开Log查看是什么导致的问题； 3.需要很多定时任务去处理业务 ...
分类：
其他好文 时间：
2020-06-10 18:52:04
阅读次数：
54
