在生产环境中遇到了这种情况：spark程序需要处理输入是多个目录，输出也是多个目录。但是处理的逻辑都是相同的。使用方法经历多次修改，最终成功完成任务。其中涉及到spark多job提交和spark多个目录同时处理，在此记录一下。 程序中所有异常处理，建议都在函数里面处理好，不要直接写一些处理代码。这样 ...
分类：
数据库 时间：
2020-06-27 00:17:57
阅读次数：
80
7-2 Zigzag Sequence (25分) This time your job is to output a sequence of N positive integers in a zigzag format with width M in non-decreasing order. A ...
分类：
其他好文 时间：
2020-06-26 14:45:16
阅读次数：
81
工程的聚合与依赖 1 聚合 当项目是多模块时，如何一次构建多个模块，而不是要分别到多个模块下分别执行Maven命令。 1.1 父子结构 <!--父模块netsales-poss中的packaging必须为pom--> <packaging>pom</packaging> <!--父模块netsale ...
分类：
其他好文 时间：
2020-06-26 01:39:47
阅读次数：
98
前言从系统架构来看，目前的商用服务器大体可以分为三类，即对称多处理器结构(SMP：Symmetric Multi-Processor)，非一致存储访问结构(NUMA：Non-Uniform Memory Access)，以及海量并行处理结构(MPP：Massive Parallel Processi... ...
分类：
其他好文 时间：
2020-06-25 21:37:18
阅读次数：
95
序列化实现实例序列化，可以方便存储各种类型对象； 常见的序列化格式：BinaryFormater SoapFormater XMLSearializer BinaryFormater System.Runtime.Seriazlization.Formatters.Binary 保真度(100%) ...
分类：
其他好文 时间：
2020-06-25 14:09:46
阅读次数：
54
1.配置多数据源 spring: # mybatis 连接多数据源配置 db1-mybatis: datasource: jdbcurl: jdbc:mysql://127.0.0.1:3306/cloud-main1?useUnicode=true&characterEncoding=utf8&u ...
分类：
其他好文 时间：
2020-06-24 17:47:30
阅读次数：
46
pytorch单机多卡训练 训练 只需要在model定义处增加下面一行： model = model.to(device) # device为0号 model = torch.nn.DataParallel(model) 载入模型 如果是多GPU载入，没有问题 如果训练时是多GPU，但是测试时是单G ...
分类：
其他好文 时间：
2020-06-24 16:01:42
阅读次数：
152
For Flink applications to run reliably at large scale, two conditions must be fulfilled: The application needs to be able to take checkpoints reliably ...
分类：
其他好文 时间：
2020-06-24 14:07:13
阅读次数：
47
--导数据 MergeMERGE os_staff AS t USING (select ear_code,sta_code,sta_pwd,sta_name,sta_dpt_code,job_code,sta_join_date,sta_sex,sta_status from ITSV123.hi ...
分类：
数据库 时间：
2020-06-24 13:54:50
阅读次数：
69
基本概念: 实体:java中的类 记录:Java的对象 字段:java的属性,列 表:同一个实体中,所有的记录字段组合起来就是一张表select *from 表名;select empno ,ename,job from emp ; select empno as "编号", ename "姓名"， ...
分类：
其他好文 时间：
2020-06-24 11:49:12
阅读次数：
39
