通过设置hive.exec.parallel参数，使得在同一sql中的job可以并行的执行，因为在某些场景下，同一sql中，有时子查询之间并无关联。默认情况下为false可以在执行HQL之前，set该参数，hive.exec.parallel=具体某个数值。#####虽然可以保证并行运行，但是会耗费更多的资源。
分类：
其他好文 时间：
2014-09-05 16:27:52
阅读次数：
230
GC的前世与今生 虽然本文是以.net作为目标来讲述GC，但是GC的概念并非才诞生不久。早在1958年，由鼎鼎大名的图林奖得主John McCarthy所实现的Lisp语言就已经提供了GC的功能，这是GC的第一次出现。Lisp的程序员认为内存管理太重要了，所以不能由程序员自己来管理。但后来的日子里L...
分类：
其他好文 时间：
2014-09-05 15:49:41
阅读次数：
315
以下内容摘自百度-知道，主要是觉得可以很好的理解，所以进行了copy常用的GC算法：1）标记非活动对象－－何为非活动对象，通俗的讲，就是无引用的对象。追踪root对象算法： 深度追踪root对象，将heap中所有被引用到的root做标志，所有未被标志的对象视为非活动对象，所占用的空间视为非活动内存。...
分类：
其他好文 时间：
2014-09-04 16:31:59
阅读次数：
190
SoftReference(软引用)、WeakReference(弱引用)，这两个类是对heap中java对象的应用，通过这个两个类可以和gc做简单的交互。WeakReference是弱引用，其中保存的对象实例可以被GC回收掉。这个类通常用于在某处保存对象引用，而又不干扰该对象被GC回收，通常用于D...
分类：
其他好文 时间：
2014-09-04 01:22:57
阅读次数：
159
spark对内存有一定的要求，内存不够会因为gc而oom。
1、默认情况下，一个worker的内存0.6用于cache，0.4用于task，可以通过设置该值提高每个worker的cache大小
spark.storage.memoryFraction 0.8
2、设置并行task数，提高reducer效率
spark.default.parallelism 4
这个在1....
分类：
其他好文 时间：
2014-09-03 21:21:47
阅读次数：
338
背景通过LINQ可以方便的查询并处理不同的数据源，使用Parallel LINQ (PLINQ)来充分获得并行化所带来的优势。PLINQ不仅实现了完整的LINQ操作符，而且还添加了一些用于执行并行的操作符，与对应的LINQ相比，通过PLINQ可以获得明显的加速，但是具体的加速效果还要取决于具体的场景...
分类：
其他好文 时间：
2014-09-03 12:42:26
阅读次数：
411
以我在notepad.exe中设置CreateFileW特定文件名断点为例。bpkernel32!CreateFileW"r$t1=poi(esp+4);as/mu$FileName$t1;.block{.if($sicmp(\"${$FileName}\",\"C:\\abc.txt\")!=0){.echoc:\\abc.txt}.else{.echononono;gc}}"bpkernel32!CreateFileW"r$t1=poi(esp+4);as/mu$FileN..
分类：
数据库 时间：
2014-09-02 18:09:45
阅读次数：
256
0. 基本命令linux 基本命令整理1. 压缩 解压tar -zcvf a.tar.gz a #把a压缩成a.tar.gztar -zxvf a.tar.gz #把a.tar.gz解压成a2. vim小结2.1 vim替换:m,ns/word_1/word_2/gc #把word_1...
分类：
系统相关 时间：
2014-09-02 17:15:55
阅读次数：
279
需要临时为mysql添加一个实例，使用xtrabackup最简单快速。
在现有数据节点上：
/home/work/app/xtrabackup-2.2.3/innobackupex --ibbackup=/home/work/app/xtrabackup-2.2.3/xtrabackup --parallel=8 --defaults-file= ${BACKUP_CNF} --s...
分类：
数据库 时间：
2014-09-01 21:12:13
阅读次数：
512
在mysqld.cc中增加需要保存的配置信息的变量如：ulong opt_mts_slave_parallel_workers;在mysqld.h中增加该变量的定义如：extern ulong opt_mts_slave_parallel_workers;在sys_vars.cc中以mysql的方式...
分类：
数据库 时间：
2014-09-01 17:28:03
阅读次数：
356
