1、用途 一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 各任务单元之间存在时间先后及前后依赖关系 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； 例如，我们可能有这样一个需求，某个业务系统每天产生 ...
分类：
其他好文 时间：
2020-07-20 13:26:58
阅读次数：
71
种类 Executors.newCachedThreadPool ?定义：无界线程池，可自动回收 ?缺点：涌入大量任务时会大量创建线程 Executors.newFixedThreadPool ?定义：线程池中的线程数固定大小，超出的线程会在队列中等待 ?缺点：任务数量过大效率不高 Executor ...
分类：
编程语言 时间：
2020-07-13 18:42:05
阅读次数：
76
一 概述 1.1 为什么需要工作流调度系统 1）一个完整的数据分析系统通常都是由大量任务单元组成： shell 脚本程序，java 程序，mapreduce 程序、hive 脚本等。2）各任务单元之间存在时间先后及前后依赖关系。3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行 ...
分类：
其他好文 时间：
2020-05-30 20:00:49
阅读次数：
59
夫子的进阶试炼答案 （最新总结，若有更新，请及时补充，谢谢！） 1、以下哪个装备更适合李白？B、暗影战斧 2、项羽在残血时防御力更强。A、正确 3、以下哪个装备更适合虞姬？B、无尽战刃 4、李白大招命中多人时伤害会降低？B、正确 5、夏侯惇残血攻击会回血？B、正确 6、以下哪个装备更适合夏侯惇？B、 ...
分类：
其他好文 时间：
2020-02-25 17:29:31
阅读次数：
402
1. 线程池 线程池和数据库的连接池是同样意思，把多个线程放在一个集合里，有任务时从集合里分配线程，当该线程完成任务后不是销毁，放入线程池等待下次任务，减少了创建和销毁线程的次数，提高系统效率，因为创建和销毁属于 。如果每有一个任务就创建一个线程，大量任务涌进会导致创建过多线程而内存溢出 2. Ex ...
分类：
编程语言 时间：
2020-01-26 11:52:23
阅读次数：
81
一、概述1、 为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等;各任务单元之间存在时间先后及前后依赖关系;为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行；例如：我们可能有这样一个... ...
分类：
其他好文 时间：
2020-01-07 10:25:31
阅读次数：
92
大数据技术之Azkaban 一 概述 1.1 为什么需要工作流调度系统 1）一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 2）各任务单元之间存在时间先后及前后依赖关系 3）为了很好地组织起这样的复杂执行计划，需要一个工作 ...
分类：
其他好文 时间：
2019-07-26 09:15:11
阅读次数：
265
之前我们简单的了解了增、删、改、查这几类T-SQL语法来操纵数据表，但是为了更方便快捷地完成大量任务，SQLServer提供了一些内部函数，可以和SQLServer的SELECT语句来联合使用，进行类型转换、日期处理、数学计算、实现系统功能。字符串在信息处理时有特殊的地位，几乎所有信息都需要转化成字符串才能正确显示，尤其是不同数据拼接起来显示的使用更加广泛。字符串之间使用“+”拼接select‘运
分类：
数据库 时间：
2019-06-15 17:42:51
阅读次数：
169
重点内容1：了解集群：1.为什么要用集群：在站点（网站）对硬件性能、响应速度、服务稳定性、数据可靠性等要求越来越高，通过集群技术整合多台普通服务器以满足站点的需求。2.什么是集群（cluster）：集群就是大量服务器的集合，以适应企业不断增长的业务需求而生。3.集群分类：负载均衡（LB）、高可用（HA）、高性能(HPC)1）负载均衡：将大量任务分配给多个服务器节点。2）高可用：提供7X24（不间断
分类：
其他好文 时间：
2019-06-11 12:51:47
阅读次数：
96
