第六章 HDFS概述
6.1.2 HDFS体系结构
HDFS采用主从结构,NameNode(文件系统管理者,负责命名空间,集群配置,数据块复制),
DataNode(文件存储的基本单元,以数据块形式保存文件内容和数据块的数据校验信息,执行底层数据块IO操作),
Client(和名字节点,数据节点通信,访问HDFS文件系统,操作文件),
SecondaryNameNode
1、数据块...
分类:
其他好文 时间:
2016-06-24 15:46:18
阅读次数:
170
进程与线程 进程与线程的关系 进程: 优点:同时利用多个cpu,能够同时进行多个操作 缺点:耗费资源(重新开辟内存空间)线程: 优点:共享内存,IO操作的时候,创造并发操作 缺点:抢占资源进程不是越多越好,cpu个数 = 进程个数线程也不是越多越好,具体案例具体分析,请求上下文切换耗时计算机中执行任 ...
分类:
编程语言 时间:
2016-06-21 01:15:58
阅读次数:
306
1、gevent. 在遇到io操作时会发生切换,切换gevent.joinall()中的gevent.spawn(a)去执行。 使用非gevent封装的sleep()时会发生阻塞 2、使用gevent.sleep(1)时是非阻塞的。但是当然这个sleep(1)睡眠1秒还是要经历的,只是a在睡眠时可以 ...
分类:
其他好文 时间:
2016-06-20 00:16:02
阅读次数:
164
相关文件: fil0fil.h fil0fil.c 功能:对disk上的表空间及组成表空间的物理文件进行管理(如新建,打开,关闭,删除,重命名等操作);对表空间中的页在物理文件上进行存取(IO操作)。 Introduction 表空间的物理组成 Innodb在对数据库文件的管理上使用了类似oracl ...
分类:
其他好文 时间:
2016-06-18 22:29:26
阅读次数:
222
在IO编程中,我们知道CPU的速度远远快于磁盘,网络IO,在一个线程中,CPU执行速度的代码非常快,然而遇到IO操作就需要阻塞 需要等待IO操作完成才能继续下一步的动作。这种情况叫做同步IO 在IO操作的过程中,当前线程被挂起,而其他需要CPU执行的代码就无法被当前线程执行。 因为一个IO阻塞了当前 ...
分类:
编程语言 时间:
2016-06-13 22:07:47
阅读次数:
214
1.字节流 》读写以字节为单位 输入流: 读文件:InputStream FileInputSream >把文件作为字节流进行写操作 输出流: 写文件 OutputSteam 2.字符流 》读写以字符为单位 输入流: 读文件:Reader 输出流: 写文件 Writer 所有的IO操作都会产生IO异 ...
分类:
其他好文 时间:
2016-06-12 14:02:59
阅读次数:
215
1、数据库引入1.1、引入数据保存到【内存】:优点:读写非常快缺点:程序关闭导致数据丢失数据保存到【文件】:优点:数据可以永久保存缺点:1)频繁地IO操作,效率不高!2)数据管理不方便。例如查询某个数据需要全部读取出来,再匹配。数据保存到【数据库软件】:优点:1)数..
分类:
数据库 时间:
2016-06-10 23:22:31
阅读次数:
347
JAVAOO学到现在,从基本数据类型到基本语句,再到一些语言特性,再到 IO 操作,网络操作。 学的并不算特别好,尤其是反射那部分还有不少不懂的地方,但是却有一种豁然开朗的感觉,因为我对基本语言学习完成之后的两个方向软件设计及程序原理 有了种切实的感受,所以想在这里写点心得: 一、 软件设计: 其实 ...
分类:
编程语言 时间:
2016-06-06 20:21:31
阅读次数:
151
所谓IO,也就是Input与Output的缩写。在java中,IO涉及的范围比较大,这里主要讨论针对文件内容的读写其他知识点将放置后续章节对于文件内容的操作主要分为两大类分别是:
字符流
字节流
其中,字符流有两个抽象类:Writer Reader其对应子类FileWriter和FileReader可实现文件的读写操作BufferedWriter和BufferedReader能够提供缓冲区功能,...
分类:
编程语言 时间:
2016-06-02 14:53:46
阅读次数:
242
早期的select函数是用来监控一系列的文件句柄,一旦其中一个文件句柄发生IO操作,该select调用就会被返回。golang在语言级别直接支持select,用于处理异步IO问题。 select用法同switch类似,如下: 可以看出,ch初始化后,case1读取失败,timeout同样失败,因为c ...
分类:
其他好文 时间:
2016-05-28 12:42:51
阅读次数:
171