参考： Hail Hail - Tutorial windows也可以安装：Spark在Windows下的环境搭建 spark-2.2.0-bin-hadoop2.7 - Hail依赖的平台，并行处理 google cloud platform - 云平台 Broad's data cluster ...
分类：
其他好文 时间：
2018-05-14 19:57:29
阅读次数：
890
原理： spark作业sparkcontext、DAGDAGSchedler、taskSchulder、会将编写算子、切割成大量的task，会提交到application的excutor上执行如何资源设置cup core和excutor较少，就会造成能并行处理的task数量较少，从而就会增加task ...
分类：
其他好文 时间：
2018-05-14 12:29:42
阅读次数：
138
一、DockerSwarm概念1、集群从主机的层面来看，DockerSwarm管理的是DockerHost集群。所以先来讨论一个重要的概念-集群化（Clustering）。服务器集群由一组网络上相互连接的服务器组成，它们一起协同工作。一个集群和一堆服务器最显著的区别在于：集群能够像单个系统那样工作，同时提供高可用、负载均衡和并行处理。如果我们部署应用和服务时选择的是多个独立的服务器而非集群，资源的
分类：
其他好文 时间：
2018-05-07 16:12:39
阅读次数：
207
java8中引入了java.util.stream这样一个包（流），新特性的添加旨在能帮助开发人员更高的抽象层次上对集合进行一系列操作。 借助java.util.stream包，我们可以简明的声明性的表达集合，数组和其他数据源上可能的并行处理。实现从外部迭代到内部迭代的改变。 更高级别的抽象 考虑这 ...
分类：
编程语言 时间：
2018-05-06 01:34:31
阅读次数：
206
首先我们一个问题一个问题讲解，由浅入深的去探索epool 1、什么是IO复用？ IO流请求操作系统内核，有串行处理和并行处理的两种概念；串行处理，前面一个处理，后面的所有的需要等 待，所以这是必需考虑并行处理的方式来完成整个IO流的请求，实现最大的并发和吞吐；这里就用到了IO复用技术， IO复用技术 ...
分类：
其他好文 时间：
2018-05-05 20:39:38
阅读次数：
2359
（本文原创，首次使用OpenMP，将使用体会记录下来供学习） OpenMP是啥玩意？？？ 多核多线程处理器的出现，让并行计算成为可能。在此之前，单核处理器并不能并行计算，这是很显然的，只有一个核心只能做到并发处理（与并行处理区别），这是一种虚拟化的技术，让用户感觉计算机在同时处理多任务，而事实上是通 ...
分类：
其他好文 时间：
2018-05-02 21:03:06
阅读次数：
182
OracleGoldenGate-概念和机制(ogg)GoldenGate（简称OGG）提供异构环境下交易数据的实时捕捉、变换、投递。OGG支持的异构环境有：OGG的特性：对生产系统影响小：实时读取交易日志，以低资源占用实现大交易量数据实时复制，以交易为单位复制。保证交易一致性：只同步已提交的数据高性能：智能的交易重组和操作合并使用数据库本地接口访问并行处理体系灵活的拓扑结构：支持一对一、一对多、
分类：
数据库 时间：
2018-04-30 16:34:30
阅读次数：
196
在工作中经常会发现浏览器请求过多，会很慢很卡，但我并不太记得哪个版本具体能支持多少并发请求数。于是特意网上查询到了，并记录在此。 浏览器的并发请求数目限制是针对同一域名的，即一时间针对同一域名下的请求有一定数量限制，超过限制数目的请求会被阻塞。 各种浏览器，各版本都有并行处理请求的个数如下所示： 参 ...
分类：
其他好文 时间：
2018-04-28 23:47:00
阅读次数：
250
Azure文档:https://docs.azure.cn/zh-cn/#pivot=products&panel=databasesSQL数据仓库文档:https://docs.azure.cn/zh-cn/sql-data-warehouse/了解如何使用SQL数据仓库，其结合了SQLServer关系数据库与大规模并行处理。教程和其他文档介绍了如何将数据加载到数据仓库，并分析、管理和导
分类：
数据库 时间：
2018-04-18 16:27:39
阅读次数：
220
selenium 是一套完整的web应用程序测试系统，包含了测试的录制（selenium IDE）,编写及运行（Selenium Remote Control）和测试的并行处理（Selenium Grid）。Selenium的核心Selenium Core基于JsUnit，完全由JavaScript ...
分类：
编程语言 时间：
2018-04-15 11:40:10
阅读次数：
269
