Spark的存储管理 RDD的存放和管理都是由Spark的存储管理模块实现和管理的。本文从架构和功能两个角度对Spark的存储管理模块进行介绍。 架构角度 从架构角度，存储管理模块主要分为以下两层： 通信层：存储管理模块采用的是主从结构来实现通信层，主节点和从节点之间传输控制信息、状态信息。 存储层 ...
分类：
其他好文 时间：
2017-04-20 10:44:01
阅读次数：
120
理解零拷贝 零拷贝是Netty的重要特性之一，而究竟什么是零拷贝呢？ WIKI中对其有如下定义： “Zero-copy” describes computer operations in which the CPU does not perform the task of copying data ...
分类：
Web程序 时间：
2017-04-17 12:54:29
阅读次数：
245
netty深入学习之中的一个: 入门篇本文代码下载：http://download.csdn.net/detail/cheungmine/84975491）Netty是什么Netty是Java NIO之上的网络库（API）。Netty 提供异步的、事件驱动的网络应用程序框架和工具，用以高速开发高性能 ...
分类：
Web程序 时间：
2017-04-16 19:16:15
阅读次数：
257
一、前言 在笔者打算学习Netty框架时，发现很有必要先学习NIO，因此便有了本博文，首先介绍的是NIO中的缓冲。 二、缓冲 2.1 层次结构图 除了布尔类型外，其他基本类型都有相对应的缓冲区类，其继承关系层次图如下。 其中，Buffer是所有类的父类，Buffer中也规定了所有缓冲区的共同行为。 ...
分类：
编程语言 时间：
2017-04-15 20:58:59
阅读次数：
273
netty——私有协议栈开发案例 摘要： 在学习李林峰老师的Netty权威指南中，觉得第十二章《私有协议栈开发》中的案例代码比较有代表性，讲的也不错，但是代码中个人认为有些简单的错误，个人经过简单的修改，编译好后展示给大家，有什么问题，希望留言，共同交流； 相关包： meven配置： io.nett... ...
分类：
Web程序 时间：
2017-04-15 12:05:27
阅读次数：
233
要想开发一个高性能的TCPserver，熟悉所使用框架的线程模型非常重要。MINA、Netty、Twisted本身都是高性能的网络框架，假设再搭配上高效率的代码。才干实现一个高大上的server。可是假设不了解它们的线程模型。就非常难写出高性能的代码。框架本身效率再高。程序写的太差，那么server ...
分类：
编程语言 时间：
2017-04-14 20:55:17
阅读次数：
609
作者：郭无心链接：https://www.zhihu.com/question/24322387/answer/78947405来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 Netty是什么？ 1）本质：JBoss做的一个Jar包 2）目的：快速开发高性能、高可靠性 ...
分类：
Web程序 时间：
2017-04-10 09:45:05
阅读次数：
255
摘要: 通过腾讯shuffle部署对shuffle过程进行详解 摘要：腾讯分布式数据仓库基于开源软件Hadoop和Hive进行构建,TDW计算引擎包括两部分：MapReduce和Spark，两者内部都包含了一个重要的过程—Shuffle。本文对Shuffle过程进行解析，并对两个计算引擎的Shuff ...
分类：
其他好文 时间：
2017-04-10 00:41:43
阅读次数：
283
Netty5快速入门及实例视频教程+源码（整合Spring） https://pan.baidu.com/s/1pL8qF0J 01、传统的Socket分析02、NIO的代码分析03、对于NIO的一些疑惑04、Netty服务端HelloWorld入门05、Netty服务端入门补充06、Netty客户 ...
分类：
编程语言 时间：
2017-04-08 23:45:56
阅读次数：
904
摘要: 在Netty中，通常会有多个IO线程独立工作，基于NioEventLoop的实现，每个IO线程负责轮询单独的Selector实例来检索IO事件，当IO事件来临的时候，IO线程开始处理IO事件。最常见的IO事件即读写事件，那么这个时候就会涉及到IO线程对数据的读写问题，具体到NIO方面即从内核 ...
分类：
Web程序 时间：
2017-04-08 13:32:17
阅读次数：
267
