信号量可以获取多次，可以用来保护一定数量的同种资源，信号量的典型用例是控制生产者和消费者之间共享的环形缓冲区 生产者,消费者实例中对同步的需求有两处： 1.生产者快于消费者，将会覆盖消费者还没有读取的数据； 2.生产者慢于消费者，将会读取到一些过期的数据； 两种解决方案： 1.首先使生产者填满缓冲区 ...
分类：
编程语言 时间：
2017-06-06 10:33:32
阅读次数：
130
Hadoop学习笔记总结 01. MapReduce 1. Combiner（规约） Combiner号称本地的Reduce。 问：为什么使用Combiner？答：Combiner发生在Map端，对数据进行规约处理，数据量变小了，传送到reduce端的数据量变小了，传输时间变短，作业的整体时间变短。 ...
分类：
其他好文 时间：
2017-04-27 23:10:37
阅读次数：
360
转自 http://home.eeworld.com.cn/my/space-uid-346593-blogid-239256.html 圆形缓冲区（circular buffer），也称作圆形队列（circular queue），循环缓冲区（cyclic buffer），环形缓冲区（ring bu ...
分类：
其他好文 时间：
2017-04-18 09:21:20
阅读次数：
264
uname 显示计算机及操作系统相关的信息，uname -a显示全部信息，uname -r内核的发行号，各种信息可以有单独的选项分别指出 dmesg 显示系统诊断信息、操作系统版本号、物理内存大小和其他信息，诊断和控制系统内核环形缓冲 -c 输出后清空环形缓冲区 -r 输出原始消息缓存 -s buf ...
分类：
其他好文 时间：
2017-04-08 12:27:04
阅读次数：
249
‘dmesg’命令显示linux内核的环形缓冲区信息，我们可以从中获得诸如系统架构、cpu、挂载的硬件，RAM等多个运行级别的大量的系统信息。当计算机启动时，系统内核（操作系统的核心部分）将会被加载到内存中。在加载的过程中会显示很多的信息，在这些信息中我们可以看到内核检测硬件设备。 dmesg Co ...
分类：
系统相关 时间：
2016-10-04 18:14:46
阅读次数：
317
using System;using System.Collections.Generic;using System.Linq;using System.Text;namespace Test{ /// <summary> /// 环形缓冲区 /// </summary> public class ...
分类：
其他好文 时间：
2016-08-26 10:24:44
阅读次数：
188
MapReduce Shuffle 过程详解 一、MapReduce Shuffle过程 1、 Map Shuffle过程 2、 Reduce Shuffle过程 二、Map Shuffle过程 1、 环形缓冲区 Map输出结果是先放入内存中的一个环形缓冲区，这个环形缓冲区默认大小为100M(这个大... ...
分类：
其他好文 时间：
2016-07-19 18:58:07
阅读次数：
314
在Task运行过程分析3——MapTask内部实现中，我们分析了MapTask的Collect阶段，并且解读了环形缓冲区使得MapTask的Collect阶段和Spill阶段可并行执行。。。接下来分析Spill阶段和Combine阶段。。。Spill过程分析
Spill过程由SpillThread线程完成，SpillThread线程实际上是缓冲区kvbuffer的消费者 protected cl...
分类：
其他好文 时间：
2016-05-18 18:36:48
阅读次数：
295
上一篇记录了几种环形缓冲区的设计方法和环形缓冲区在生产者消费者模式下的使用（并发有锁），这一篇主要看看怎么实现并发无锁。0、简单的说明首先对环形缓冲区做下说明：环形缓冲区使用改进的数组版本，缓冲区容量为2的幂缓冲区满阻塞生产者，消费者进行消费后，缓冲区又有可用资源，由消费者唤醒生产者缓冲区空阻塞消费...
分类：
其他好文 时间：
2016-01-20 22:21:56
阅读次数：
223
作者：曾志优 出处： http://www.cnblogs.com/zengzy1、环形缓冲区缓冲区的好处，就是空间换时间和协调快慢线程。缓冲区可以用很多设计法，这里说一下环形缓冲区的几种设计方案，可以看成是几种环形缓冲区的模式。设 计环形缓冲区涉及到几个点，一是超出缓冲区大小的的索引如何处理，二是...
分类：
其他好文 时间：
2016-01-20 01:07:29
阅读次数：
520
