1.hive的数据倾斜 介绍：只要在分布式一定有shuffle，避免不了出现数据倾斜，在混淆数据的过程中出现数据分布不均匀。比如：在MR编程中reducetask阶中的数据的大小不一致，即很多的数据集中到了一个reducetask中，hive的数据倾斜就是mapreduce的数据倾斜maptaskreducetask最后就是reducetask阶段的数据倾斜。 不会产生数据倾斜
分类：
其他好文 时间：
2019-01-14 21:23:35
阅读次数：
331
今天我给大家讲讲JVM垃圾收集器-ParallelScavenge收集器ParallelScavenge收集器ParallelScavenge收集器也是一个新生代收集器，它也是使用复制算法的收集器，又是并行的多线程收集器，看上去和ParNew都一样，那它有什么特别之处呢？ParallelScavenge收集器的特点是它的关注点与其他收集器不同，CMS等收集器的关注点尽可能地缩短垃圾收集时用户线程的
分类：
其他好文 时间：
2019-01-14 11:53:56
阅读次数：
211
************************************************ jdk1.7 默认垃圾收集器Parallel Scavenge（新生代）+Parallel Old（老年代） jdk1.8 默认垃圾收集器Parallel Scavenge（新生代）+Parallel ...
分类：
其他好文 时间：
2019-01-11 11:33:19
阅读次数：
182
因为和git比起来，svn更熟悉些。就先用的svn来做版本管理，反正就几个人，没什么离线提交的需求。 参考https://oomake.com/question/984356，我有了一些实践。 如果仅仅是export，您可以使用GNU Parallel进行并行svn签出。 例- 这将在'bar'目录 ...
分类：
移动开发 时间：
2019-01-10 16:33:57
阅读次数：
249
《对象搜索算法与回收算法》介绍了垃圾回收的基础算法，相当于垃圾回收的方法论。接下来就详细看看垃圾回收的具体实现。 上文提到过现代的商用虚拟机的都是采用分代收集的，不同的区域用不同的收集器。常用的7种收集器，其适用的范围如图所示 Serial、ParNew、Parallel Scavenge用于新生代 ...
分类：
其他好文 时间：
2019-01-09 18:41:37
阅读次数：
179
Parallel Python mpi multiprocessing https://wiki.python.org/moin/ParallelProcessing https://www.parallelpython.com/content/view/15/30/ ...
分类：
编程语言 时间：
2019-01-08 15:08:18
阅读次数：
397
（1）SparkStreaming整合kafka两种方式对比Direct方式的优缺点分析：优点：简化并行(SimplifiedParallelism)。不现需要创建以及union多输入源，Kafkatopic的partition与RDD的partition一一对应。高效(Efficiency)。基于Receiver-based的方式保证数据零丢失（zero-dataloss）需要配置spark.s
分类：
其他好文 时间：
2019-01-08 10:55:39
阅读次数：
176
static void Main(string[] args) { //for (int i = 0; i DoWork(i)); //Mehtod1(); //Mehtod2(); //Mehtod3(); Parallel.Invo... ...
分类：
其他好文 时间：
2018-12-30 22:47:14
阅读次数：
183
本文基于Spark 2.1.0版本 新手首先要明白几个配置： spark.default.parallelism：（默认的并发数） 如果配置文件spark-default.conf中没有显示的配置，则按照如下规则取值： 本地模式（不会启动executor，由SparkSubmit进程生成指定数量的线 ...
分类：
其他好文 时间：
2018-12-27 03:14:26
阅读次数：
145
使用HtmlAgilityPack来开发简单爬虫： 1、NuGet安装HtmlAgilityPack 2、简单的爬虫代码 官网地址：https://html-agility-pack.net/ ...
分类：
其他好文 时间：
2018-12-25 15:57:09
阅读次数：
120
