Scrapy 提供了方便的收集数据的机制。数据以 key/value 方式存储，值大多是计数值。该机制叫做数据收集器（Stats Collector），可以通过 Crawler API 的属性 stats来使用。 无论数据收集（stats collection）开启或者关闭，数据收集器永远都是可用的 ...
分类：
其他好文 时间：
2016-09-18 15:02:51
阅读次数：
169
堆内存设置 原理 JVM堆内存分为2块：Permanent Space 和 Heap Space。 Permanent 即 持久代（Permanent Generation），主要存放的是Java类定义信息，与垃圾收集器要收集的Java对象关系不大。 Heap = { Old + NEW = {Ed ...
分类：
其他好文 时间：
2016-09-15 17:53:11
阅读次数：
196
ruby的垃圾收集器 在ruby中，做的所有的事几乎都需要内存。 ruby垃圾收集器的工作就是管理内存，并最终释放那些不再使用的对象。但是这会牺牲一点性能，它工作的时候需要暂停人的程序。 它是如何工作的？ 它使用一种被称为标记-清除(mark and sweep)的过程。首先，遍历对象图，能被访问到 ...
分类：
其他好文 时间：
2016-09-10 21:58:13
阅读次数：
244
名词解释： GC：垃圾收集器 Minor GC：新生代GC，指发生在新生代的垃圾收集动作，所有的Minor GC都会触发全世界的暂停（stop-the-world），停止应用程序的线程，不过这个过程非常短暂。 Major GC/Full GC：老年代GC，指发生在老年代的GC。 JVM：Java V ...
分类：
编程语言 时间：
2016-09-08 16:02:09
阅读次数：
261
Serial收集器：是一个单线程的收集器，使用一个CPU或一条收集线程。在进行垃圾收集时，必须暂停其他所有的工作线程，直到收集结束。在用户不可见的情况下，把正常工作的线程全部停止，对很多应用来说难以接受，所以虚拟机开发团队一直寻求消除或减少停顿时间的方法。它是虚拟机运行在Client模式下的默认新生 ...
分类：
其他好文 时间：
2016-09-06 10:26:04
阅读次数：
130
垃圾收集器与内存分配策略
1对象死亡
1.引用计数算法
2.可达性分析算法
2.垃圾收集算法
1.标记-清除算法
2.复制算法
3.标记-整理算法
4.分代收集算法
3.hotspot...
分类：
其他好文 时间：
2016-09-05 15:26:30
阅读次数：
246
垃圾收集（Garbage collection, GC） 收集原理： finalize方法 GC算法： 安全点、安全区域： 收集器： ...
分类：
编程语言 时间：
2016-09-04 14:20:31
阅读次数：
208
JAVA G1收集器 第11节 上两章我们讲了新生代和年老代的收集器，那么这一章的话我们就要讲一个收集范围涵盖整个堆的收集器——G1收集器。 先讲讲G1收集器的特点，他也是个多线程的收集器，能够充分利用多个CPU进行工作，收集方式也与CMS收集器类似，因此不会有太久的停顿。 虽然回收的范围是整个堆， ...
分类：
编程语言 时间：
2016-08-31 23:49:34
阅读次数：
183
JAVA 年老代收集器 第10节 上一章我们讲了新生代的收集器，那么这一章我们要讲的就是关于老年代的一些收集器。老年代的存活的一般是大对象以及生命很顽强的对象，因此新生代的复制算法很明显不能适应该区域的特性，所以老年代采用的是“标记-清除-整理”算法（以前的章节有详细讨论过）。 Serila Old ...
分类：
编程语言 时间：
2016-08-31 22:10:05
阅读次数：
185
JAVA 年轻代收集器 第九节 继续上一章所讲的，STW即GC时候的停顿时间，他会暂停我们程序中的所有线程。如果STW所用的时间长而且次数多的话，那么我们整个系统稳定性以及可用性将大大降低。 因此我们在必要的时候需要对虚拟机进行调优，那么调优的主要目标之一就是降低STW的时间，也就是减少Full G ...
分类：
编程语言 时间：
2016-08-31 21:57:02
阅读次数：
161
