一.硬盘接口类型1、并行接口还是串行接口(1)并行接口指的是并行传输的接口，比如有0~9十个数字，用10条传输线，那么每根线只需要传输一位数字，即可完成。从理论上看，并行传输效率很高，但是由于线路上的物理原因，它的传输频率不能太高，所以实际的传输速度并不和并行度成正..
分类：
其他好文 时间：
2016-08-11 22:51:09
阅读次数：
161
场景4 Data Warehouse Management 数据仓库 parallel 4 100% —> 必须获得指定的4个并行度，如果获得的进程个数小于设置的并行度个数，则操作失败 parallel_min_percent : 若设为100，则如上 ILM ：信息生命周期管理 将休眠的数据高压缩 ...
分类：
其他好文 时间：
2016-08-10 09:54:23
阅读次数：
369
map和reduce是hadoop的核心功能，hadoop正是通过多个map和reduce的并行运行来实现任务的分布式并行计算，从这个观点来看，如果将map和reduce的数量设置为1，那么用户的任务就没有并行执行，但是map和reduce的数量也不能过多，数量过多虽然可以提高任务并行度，但是太多的 ...
分类：
其他好文 时间：
2016-08-01 17:28:01
阅读次数：
109
实际上Spark集群的资源并不一定会被充分利用到，所以要尽量设置合理的并行度，来充分地利用集群的资源。才能充分提高Spark应用程序的性能。 Spark会自动设置以文件作为输入源的RDD的并行度，依据其大小，比如HDFS，就会给每一个block创建一个partition，也依据这个设置并行度。对于r ...
分类：
其他好文 时间：
2016-07-13 15:53:48
阅读次数：
337
Microsoft SQL Server最大并行度(MAXDOP) 配置选项控制并行计划用于执行查询的处理器的数目。此选项确定用于执行工作并行查询计划运算符的计算和线程资源。根据是否 SQL Server 设置了对称多处理 (SMP) 计算机、 非一致内存访问 (NUMA) 计算机或启用超线程的处理... ...
分类：
数据库 时间：
2016-05-31 15:38:02
阅读次数：
236
一、进程 各个进程拥有自己的代码段。 进程拥有自己独立的堆和栈，既不共享堆，亦不共享栈，进程由操作系统调度。 二、线程 线程比进程轻量级，线程的切换cpu花费比进程小，线程能加大系统的并行度。 一个进程的各个线程之间是共享代码段的，各个线程都有一个程序计数器来指向下一条应该执行的指令。 线程拥有自己 ...
分类：
编程语言 时间：
2016-05-30 00:59:44
阅读次数：
169
MIC性能优化 MIC优化方法： --并行度优化 --内存管理优化 --数据传输优化 --存储器访问优化 --向量化优化 --负载均衡优化 --MIC线程扩展性优化 一：并行度优化 要保证有足够的并行度，效果才能好（数据并行，任务并行） 优化步骤： 1.写OpenMP程序 2.测试他的扩展性，比如用
分类：
其他好文 时间：
2016-02-11 20:21:02
阅读次数：
272
工作进程(Worker Process) Worker是Spout/Bolt中运行具体处理逻辑的进程。拓扑跨一个或多个Worker进程执行。每个Worker进程是一个物理的JVM和拓扑执行所有任务的一个子集。例如，如果合并并行度的拓扑是300，已经分配50个Worker，然后每个Worker将执行6
分类：
其他好文 时间：
2016-01-31 21:19:57
阅读次数：
263
版权声明：本文为博主原创文章，未经博主允许不得转载。作者：HaiziS 昨晚听了王家林老师的Spark IMF传奇行动第21课：从Spark架构中透视Job，笔记如下： 默认一个worker有一个executor，也可以设置多个，当cpu利用不足时。 并行度也是被继承的 当Spark集群启动的时候，
分类：
其他好文 时间：
2016-01-29 00:27:22
阅读次数：
230
1、设置Shuffle过程中的并行度：spark.sql.shuffle.partitions（SQLContext.setConf()）2、在Hive数据仓库建设过程中，合理设置数据类型，比如能设置为INT的，就不要设置为BIGINT。减少数据类型导致的不必要的内存开销。3、编写SQL时，尽量给出...
分类：
数据库 时间：
2016-01-14 06:15:31
阅读次数：
230
