OLAP也称决策支持系统(Decision Support System，DSS)，是数据仓库系统的主要应用形式，使分析人员、管理人员或执行人员能够从多种角度对从原始数据中转化出来的、能够真正为用户所理解的、并真实反映企业维特性的信息进行快速、一致、交互地存取，从而获得对数据的更深入了解的一类软件技... ...
分类：
其他好文 时间：
2017-12-01 11:31:53
阅读次数：
180
因为删除和新建线程都是费时的工作，所以可以使用线程池ExecutorService重用线程。把要执行的任务放到线程池，让它自己调度这些任务。这些任务是轻量级线程。有两种线程池，它们使用不同的方式创建。两种方式创建线程池。 有大量任务要执行的线程池用newCachedThreadPool创建。 创建一 ...
分类：
编程语言 时间：
2017-11-13 11:32:44
阅读次数：
225
为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 各任务单元之间存在时间先后及前后依赖关系 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行 例如，我们可能有这样一个需求，某个业 ...
分类：
其他好文 时间：
2017-10-01 17:35:45
阅读次数：
290
为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 各任务单元之间存在时间先后及前后依赖关系 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； 作流调度实现方式 简单的任务调度： ...
分类：
其他好文 时间：
2017-05-10 18:55:09
阅读次数：
500
在应用程序中，总是会出现大量的任务，包括相同类型的和不同类型的。要快速处理这些任务，常见方法就是利用多线程，但是也不可能为每个任务都创建一个线程，这样内存也不够，并且线程的创建销毁开销很大。最好是少量线程处理大量任务，实现线程的复用，Executor干的就是这事。程序只需要把任务提交给Executo ...
分类：
编程语言 时间：
2017-04-09 10:39:45
阅读次数：
231
对于分布式网络环境或者有大量任务的应用，我们需要将任务在不同的服务器之间进行分布，这个时候正好是Gearman发挥实力的时候。虽然我们也可以使用MQ队列再加一些自己实现的调度算法来将任务进行分发，但是既然已经有了成熟的产品，为什么不使用下呢。 Gearman介绍 Gearman提供了一种通用的程序框 ...
分类：
其他好文 时间：
2016-09-21 10:22:45
阅读次数：
167
java多线程
何时使用多线程技术，以及何时避免用它，这是我们需要掌握的重要课题。骼它的主要目的是对大量任务进行有序的管理。通过多个任务的混合使用，可以更有效地利用计算机资源，或者对用户来说显得更方便。资源均衡的经典问题是在 IO 等候期间如何利用 CPU。至于用户方面的方便性，最经典的问题就是如何在一个长时间的下载过程中监视并灵敏地反应一个“停止”（ stop ）按钮的下。
多线程的主要缺点...
分类：
编程语言 时间：
2016-08-23 22:07:42
阅读次数：
201
当有大量的数据需要处理或者有大量任务需要完成，而且每块数据或每个任务是彼此独立的，这时候可以考虑使用并行编程。现代计算机都是多核的，并行编程可以提高CPU利用率以提高吞吐量。 Parallel.Invoke形参能接收一个Action数组。 static void Main(string[] args...
分类：
其他好文 时间：
2015-08-07 18:41:50
阅读次数：
99
在前文中我们已经学习了：线程的基本情况、如何创建多线程、线程的生命周期。利用已有知识我们已经可以写出如何利用多线程处理大量任务这样简单的程序。但是当应用场景复杂时，我们还需要从管理控制入手，更好的操纵多线程。在第一节中我们讲过，使用多线程的好处之一就是我们可以通过编码和已有类库更好的管理和控制多线....
分类：
编程语言 时间：
2015-02-27 00:09:21
阅读次数：
177
引言数据平台目前通过Hive SQL的方式提供数据分析服务，系统使用多台HiveServer（JDBCServer）接收客户端连接请求，实际使用场景中频频出现HiveServer内存消耗过多导致机器Swap过高，需要重启HiveServer来缓解问题，但在某些任务比较集中的时间段往往会导致大量任务执...
分类：
其他好文 时间：
2015-02-05 19:59:56
阅读次数：
300
