概述
内核的初始化过程过程中，与网络相关的工作如下所示：
内核引导时执行start_kernel，start_kernel结束之前会调用rest_init，rest_init初始化内核线程init（在Linux3-12中为kernel_init）。
asmlinkage void __init start_kernel(void)
{
...
parse...
分类：
系统相关 时间：
2015-02-03 15:05:14
阅读次数：
264
概述：
内核空间与用户空间经常需要进行交互。举个例子：当用户空间使用一些配置命令如ifconfig或route时，内核处理程序就要响应这些处理请求。
用户空间与内核有多种交互方式，最常用的有以下四种：通过/proc虚拟文件系统，通过/sys虚拟文件系统，通过ioctl系统调用，通过Netlink socket。 其中编写程序时最常使用ioctl，这四种方式中有两种是通过虚拟...
分类：
系统相关 时间：
2015-01-30 15:55:02
阅读次数：
407
为什么要有内核通知表链：
Linux由多个相互依赖的子系统组成。其中一些子系统可能需要对其他子系统的一些事件感兴趣。这样子系统之间需要一些通信机制来实现这一功能。
在接触Notification Chain之前，我们可能想到通过轮询来实现，事件发生时，子系统轮询所有其他的子系统，看看有没有对这一事件感兴趣的，有没有需要执行的子函数。
If (subsystem_X...
分类：
系统相关 时间：
2015-01-29 14:36:12
阅读次数：
236
Storage模块负责了Spark计算过程中所有的存储，包括基于Disk的和基于Memory的。用户在实际编程中，面对的是RDD，可以将RDD的数据通过调用org.apache.spark.rdd.RDD#cache将数据持久化；持久化的动作都是由Storage模块完成的。包括Shuffle过程中的数据，也都是由Storage模块管理的。可以说，RDD实现了用户的逻辑，而Storage则管理了用户...
分类：
其他好文 时间：
2015-01-18 19:47:34
阅读次数：
226
通过上面的架构和源码实现的分析，不难得出Shuffle是Spark Core比较复杂的模块的结论。它也是非常影响性能的操作之一。因此，在这里整理了会影响Shuffle性能的各项配置。尽管大部分的配置项在前文已经解释过它的含义，由于这些参数的确是非常重要，这里算是做一个详细的总结。1.1.1 spark.shuffle.manager前文也多次提到过，Spark1.2.0官方支持两种方式的Shuf...
分类：
其他好文 时间：
2015-01-18 19:46:55
阅读次数：
1000
1. B/S网络架构概述
当一个用户在浏览器里输入www.csdn.net这个URL时，将会发生很多操作。首先，它会请求DNS把这个域名解析成对应的IP地址，然后根据这个IP地址在互联网上找到对应的服务器，想这个服务器发起一个get请求，由这个服务器决定返回默认的数据资源给访问的用户。在服务器端实际上还有很多复杂的业务逻辑；服务器可能有很多台，到底指定哪台服务器来处理请求，这需要一个负载均...
分类：
编程语言 时间：
2015-01-15 20:25:17
阅读次数：
181
jQuery技术内幕 深入解析jQuery架构设计与实现原理 PDF电子书带目录 高清版JavaScript框架设计 现代魔法指南 PDF电子书带目录 高清版网络上的都是预览版，这是自制的，如有需要请联系qq：106772829210元一本，已然是最低价不讲价。
分类：
编程语言 时间：
2015-01-13 11:51:05
阅读次数：
1542
本文详细讲解Shuffle Read的整个过程，包括如何获得Block的元数据信息，进行网络，本地读取。通过一个整体的流程架构图，详细大家可以对整个过程有一个更加深刻的把握...
分类：
其他好文 时间：
2015-01-12 09:19:08
阅读次数：
197
Shuffle Map Task运算结果的处理这个结果的处理，分为两部分，一个是在Executor端是如何直接处理Task的结果的；还有就是Driver端，如果在接到Task运行结束的消息时，如何对Shuffle Write的结果进行处理，从而在调度下游的Task时，下游的Task可以得到其需要的数据。Executor端的处理在解析BasicShuffle Writer时，我们知道ShuffleM...
分类：
其他好文 时间：
2015-01-12 08:09:30
阅读次数：
205
警告：因为还没有对数据进行分组，所以在WHERE子句不能使用聚合，例如 不能使用 WHERE, orderdate=MAX(orderdate). 也不能引用SELECT 列表中创建的别名，因为 SELECT列表这是还未被处理。HAVING筛选器是唯一用足分组数据的筛选器；
分类：
其他好文 时间：
2015-01-11 22:50:47
阅读次数：
228
