读苹果文档时的笔记,给自己看。primary goal of Metal is to minimize the CPU overhead incurred by executing GPU workloads. 用在两个方面: graphicsdata-parallel computationMet... ...
分类:
Web程序 时间:
2017-10-01 13:37:55
阅读次数:
468
之前看到Parallel的用法,觉得很高深,很腻害,今天专门抽空研究了一下,发现还是很easy的。 .NET Framework 4.0 新加的功能,所以4.0之前的无法使用哦。 下面介绍一下,Parallel称为 平行算法,用白话说,就是为了充分利用电脑多核处理器的优势,使得每隔核心都可以努力干活 ...
分类:
编程语言 时间:
2017-09-29 19:48:21
阅读次数:
157
一. 数据倾斜的现象 多数task执行速度较快,少数task执行时间非常长,或者等待很长时间后提示你内存不足,执行失败。 二. 数据倾斜的原因 常见于各种shuffle操作,例如reduceByKey,groupByKey,join等操作。 数据问题 spark使用问题 三. 数据倾斜的后果 一个理 ...
分类:
其他好文 时间:
2017-09-29 14:02:57
阅读次数:
157
fork Join很像mapreduce的处理过程。先将任务切割成小的任务分别计算然后再将小任务的计算结果合并起来 main ...
分类:
其他好文 时间:
2017-09-29 12:46:06
阅读次数:
239
本文是对58同城沈剑的文章二次整理,并结合自己的实践再加工得来。所以非常感谢沈剑。 一、引子 故事:业务遇到了瓶颈,多张表每个月新增亿级数据,如何仍然保证高可用。 开始:所有不与业务结合的架构都是耍流氓,针对具体场景进行分析得出具体方案。 收集:所以先需要对所有数据库架构有所了解,才能比较。以下内容 ...
分类:
数据库 时间:
2017-09-27 10:09:58
阅读次数:
188
async 作为大名鼎鼎的异步控制流程包,在npmjs.org 排名稳居前五,目前已经逐渐形成node.js下控制异步流程的一个规范.async成为异步编码流程控制的老大哥绝非偶然,它不仅使用方便,文档完善,把你杂乱无章的代码结构化,生辰嵌套的回掉清晰化. async 提供的api包括三个部分: ( ...
分类:
其他好文 时间:
2017-09-24 13:47:38
阅读次数:
250
先来个对比图看一下, 左边图是普通 rsync 目录拷贝, 右边图是借助 parallel 工具并发起了多个 rsync centos6.5安装 parallel 开始 rsync 拷贝文件 [从/data/ 拷贝到 /hadoop/] 如果用普通的 rsync, 再加上很多小文件,一晚上只传了1T ...
分类:
系统相关 时间:
2017-09-21 21:07:31
阅读次数:
281
1.垃圾回收器类型1.串行垃圾回收器(Serial Garbage Collector)2.并行垃圾回收器(Parallel Garbage Collector)3.并发标记扫描垃圾回收器(CMS Garbage Collector)4.G1垃圾回收器(G1 Garbage Collector)1.... ...
分类:
其他好文 时间:
2017-09-20 12:08:23
阅读次数:
157
Spark的配置项分为三部分 Spark properties control most application parameters and can be set by using a SparkConf object, or through Java system properties. Env ...
分类:
其他好文 时间:
2017-09-19 17:51:23
阅读次数:
115
Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy Visual Tracking 本文目标在于 tracking performance 和 efficiency 之间达到一种平衡。将 track ...
分类:
其他好文 时间:
2017-09-15 12:22:31
阅读次数:
275