1.什么是数据完整性 用户希望存储和处理数据的时候，不会有任何损失或者损坏。 hadoop提供两种校验： 1.校验和（常见循环冗余校验CRC-32) 2.运行后台进程来检测数据块 2.基本的基于文件的数据结构 在处理小文件的时候，为了避免多次打开关闭流耗费计算资源，hdfs提供了两种类型的容器Seq ...
分类：
其他好文 时间：
2017-08-14 00:32:54
阅读次数：
206
IO操作：读写文件、发送网络数据在一个线程中，CPU执行代码的速度极快，然而，一旦遇到IO操作，就需要等待IO操作完成。这是同步IO。由于我们要解决的问题是CPU高速执行能力和IO设备的龟速严重不匹配，多线程和多进程只是解决这一问题的一种方法。另一种解决IO问题的方法是异步IO。 异步IO模型在一个 ...
分类：
其他好文 时间：
2017-08-12 18:09:51
阅读次数：
175
在IO编程一节中，我们已经知道，CPU的速度远远快于磁盘、网络等IO。在一个线程中，CPU执行代码的速度极快，然而，一旦遇到IO操作，如读写文件、发送网络数据时，就需要等待IO操作完成，才能继续进行下一步操作。这种情况称为同步IO。 在IO操作的过程中，当前线程被挂起，而其他需要CPU执行的代码就无 ...
分类：
编程语言 时间：
2017-08-12 11:49:00
阅读次数：
192
多道技术： 多道程序设计技术 所谓多道程序设计技术，就是指允许多个程序同时进入内存并运行。即同时把多个程序放入内存，并允许它们交替在CPU中运行，它们共享系统中的各种硬、软件资源。当一道程序因I/O请求而暂停运行时，CPU便立即转去运行另一道程序。 多道程序的运行过程：将A、B两道程序同时存放在内存 ...
分类：
编程语言 时间：
2017-08-10 16:00:02
阅读次数：
200
# Netty ## 一、初步 + 异步非阻塞 + Future-Listener机制，方便用户主动获取或者通知机制获得IO操作结果 + 底层数据传输封装完善 + 功能依赖 1.7+ ## 二、实现 ### Server + 创建两个线程组，一个接收，一个网络读写 + 创建辅助工具类 `Server... ...
分类：
其他好文 时间：
2017-08-09 00:01:46
阅读次数：
226
什么是流，我认为流就是对IO设备的一种抽象。流将各种千差万别的设备统一抽象成一种模型，向用户提供一个统一的编程接口，用户无需了解设备内部细节，就可完成对设备的IO操作，大大简化开发难度。 流这个概念很重要，很大一部分初涉猎编程的人(包括我)，犯眼高手低的错误，认为流不就是对控制台，文件的读写操作吗？ ...
分类：
其他好文 时间：
2017-08-03 16:52:40
阅读次数：
178
一、select 1.起源 select最早于1983年出现在4.2BSD中（BSD是早期的UNIX版本的分支）。 它通过一个select()系统调用来监视多个文件描述符的数组，当select()返回后，该数组中就绪的文件描述符便会被内核修改标志位，使得进程可以获得这些文件描述符从而进行后续的读写操 ...
分类：
其他好文 时间：
2017-08-02 22:17:17
阅读次数：
147
JS是一门“运行在客户端（运行在浏览器）”的“轻量级”的脚本编程语言 JS目前不仅仅只能在浏览器中运行，还可以在NODE中运行 node的优点:基于谷歌V8引擎的，具有强大的io操作，基于事件驱动的异步 编程。 1、什么是node node是一个环境，供JS代码执行的环境，我们可以把他等价于浏览器， ...
分类：
Web程序 时间：
2017-07-31 15:50:05
阅读次数：
148
Java NIO简介： Java New IO Non Blocking IO，从java1.4版本就开始引入了新的IO API，可以替代标准的Java IO API。NIO与原来的IO有同样的作用和目的，但是使用的方式完全不同，NIO支持面向缓冲区的、基于通道的IO操作。NIO将更加高效的方式进行 ...
分类：
编程语言 时间：
2017-07-30 23:47:13
阅读次数：
291
本章内容： 线程（线程锁、threading.Event、queue 队列、生产者消费者模型、自定义线程池） 进程（数据共享、进程池） 协程 线程 Threading用于提供线程相关的操作。线程是应用程序中工作的最小单元，它被包含在进程之中，是进程中的实际运作单位。一条线程指的是进程中一个单一顺序的 ...
分类：
编程语言 时间：
2017-07-30 19:06:23
阅读次数：
181
