我们知道，单个线程计算是串行的，只有等上一个任务结束之后，才能执行下一个任务，所以执行效率是比较低的。那么，如果用多线程执行任务，就可以在单位时间内执行更多的任务，而Master-Worker就是多线程并行计算的一种实现方式。它的思想是，启动两个进程协同工作：Master和Worker进程。Master负责任务的接收和分配，Worker负责具体的子任务执行。每个Worker执行完任务之后把结果返回
分类：
其他好文 时间：
2020-08-17 16:40:21
阅读次数：
52
yuanwenlianjie:https://www.cnblogs.com/wt645631686/p/13473186.html 什么是消息延迟？ 消息队列在消费过程中大量堆积就是消息延迟，也就是消费的频率跟不上生产。比方说，生产者向队列中一共生产了1000条消息，某一个消费者消费进度是900条 ...
分类：
其他好文 时间：
2020-08-12 15:57:39
阅读次数：
57
1.定义 RDD是只读的记录分区的集合，是一种基于工作集的应用抽象 创建RDD的方式有两种： 从驱动程序中的集合中并行创建 从外部数据集创建 2.底层存储原理 每个RDD的数据以Block的形式存储在多个机器上，对于每个Executor都会启动一个BlockManagerSlave，并且管理一部分B ...
分类：
其他好文 时间：
2020-08-08 00:33:32
阅读次数：
73
ForkJoin :: 分支合并 （JDK 1.7） 并行执行任务，提高效率。 使用场景：大数据量 将大任务拆成小任务 ForkJoin 特点：工作窃取 这个里面维护的都是双端队列，如果一方执行完了，获取另外一方的未完成的任务进行执行 ForkJoin 的操作 package pers.vincen ...
分类：
其他好文 时间：
2020-08-07 12:33:23
阅读次数：
64
Git应用详解第三讲：本地分支的重要操作前言分支是git最核心的操作之一，了解分支的基本操作能够大大提高项目开发的效率。这一讲就来介绍一些分支的常见操作及其基本原理。一、分支概述在开发当中，往往需要分工合作。比如：小红开发A功能，小明开发B功能，小刚开发C功能。如何才能做到三者并行开发呢？git为我们提供的分支功能就能实现这一需求，如下图所示：image-20200413193720239在实际的
分类：
其他好文 时间：
2020-08-07 09:51:34
阅读次数：
56
CV： 1. 常见的模型加速方法 2. 目标检测里如何有效解决常见的前景少背景多的问题 3. 目标检测里有什么情况是SSD、YOLOv3、Faster R-CNN等所不能解决的，假设网络拟合能力无限强 4. ROIPool和ROIAlign的区别 5. 介绍常见的梯度下降优化方法 6. Detect ...
分类：
编程语言 时间：
2020-08-04 09:55:07
阅读次数：
91
写在前面Java有进阶，其名为并发，并发知识之大，一口吃不下。那好，请您多吃几口，又没说一顿吃完，细嚼慢咽才有味.所有Java书籍都将并发编程放在其高级/进阶篇章中，其重要性不言而喻，学好并发也是自身走入高级行列的必备素质之一并发/并行，进程/线程这些概念总是显得过于抽象，因为这是与操作系统沟通用到的词汇，就像我们习惯了使用十进制算法，二进制和16进制就需要思维的切换；生活中，我们彼此总是不能互相
分类：
其他好文 时间：
2020-08-02 10:21:32
阅读次数：
98
前言 Java中的线程池是一个很重要的概念，它的应用场景十分广泛，可以被广泛的用于高并发的处理场景。J.U.C提供的线程池：ThreadPoolExecutor类，可以帮助我们管理线程并方便地并行执行任务。因此了解并合理使用线程池非常重要。 本文对线程池采用 3W 的策略结合源码进行思考逐层分析，即 ...
分类：
编程语言 时间：
2020-08-01 21:28:20
阅读次数：
85
Java语言的学习开始，很多同学不知道从哪入手？如果你也想知道如何从零开始学java？怎样学java最有效？小编本文为你解答。虽然Java面象对象很多东西都是被封装好的直接用，相对其他语言没那么复杂，但是学的东西也没有那么的soeasy，总之如果你是真想做开发，就先沉下心用心把基础打好，不要先老想着因为软件行业有市场，所以要进来分一杯羹的这种急躁心态。另外，在编程这个行业，技术更新速度快，所以一定
分类：
编程语言 时间：
2020-07-31 01:11:16
阅读次数：
73
0、背景在当今世界，各行各业每天都有海量数据产生，为了从这些海量数据中获取想要的分析结果，需要对数据进行提取、转换，存储，维护，管理和分析。这已然远远超出了普通处理工具、数据库等的实现能力，只有基于的分布式架构和并行处理机制的大数据工具所才能实现这些功能。Elasticsearch是响应如前所述大多数用例的最热门的开源数据存储引擎之一。Elasticsearch是一种分布式数据存储和搜索引擎，具有
分类：
其他好文 时间：
2020-07-31 01:10:28
阅读次数：
62
