HDFS配置:
客户端中的配置参数可以覆盖服务端的参数。
例如:副本数,切块大小
HDFS文件存储:
服务端存储block的实际大小,但是不适合存储小文件,小文件会占用namenode的元数据空间。
对于小文件数据的优化,可以在上传之前先合并再上传。
例如:压缩、文本文件合并
HDFS扩展:
hdfs支持rest API,与平台无关
jetty 容器
hdfs支持rest command
分布式任务...
分类:
其他好文 时间:
2015-04-11 22:38:55
阅读次数:
180
一个磁盘有它的块大小,代表着它能够读写的最小数据量。文件系统通过处理大小为一个磁盘块大小的整数倍数的数据块来运作这个磁盘。文件系统块一般为几千字节,而磁盘块一般为512个字节。这些信息,对于仅仅在一个...
分类:
其他好文 时间:
2015-04-01 13:40:35
阅读次数:
110
一个磁盘有它的块大小,代表着它能够读写的最小数据量。文件系统通过处理大小为一个磁盘块大小的整数倍数的数据块来运作这个磁盘。文件系统块一般为几千字节,而磁盘块一般为512个字节。这些信息,对于仅仅在一个文件上读或写任意长度的文件系统用户来说是透明的。但是,有些工..
分类:
其他好文 时间:
2015-04-01 13:29:55
阅读次数:
90
一个磁盘有它的块大小,代表着它能够读写的最小数据量。文件系统通过处理大小为一个磁盘块大小的整数倍数的数据块来运作这个磁盘。文件系统块一般为几千字节,而磁盘块一般为512个字节。这些信息,对于仅仅在一个文件上读或写任意长度的文件系统用户来说是透明的。但是,有些工具会维护文件系统,如df 和 fsck, 它们都在系统块级上操作。
HDFS也有块的概念,不过是更大的单元,默认为64 MB。与单一磁盘上...
分类:
其他好文 时间:
2015-04-01 13:28:26
阅读次数:
175
Problem Description
曾经,Lele和他姐姐最喜欢,玩得最久的游戏就是俄罗斯方块(Tetris)了。
渐渐得,Lele发觉,玩这个游戏只需要手快而已,几乎不用经过大脑思考。
所以,Lele想出一个新的玩法。
Lele和姐姐先拿出一块长方形的棋盘,这个棋盘有些格子是不可用的,剩下的都是可用的。Lele和姐姐拿出俄罗斯方块里的正方形方块(大小为2*2的正方形方块)轮流往棋盘里放,要注意的是,放进去的正方形方块不能叠在棋盘不可用的格子上,也不能叠在已经放了的正方形方块上。
到最后,谁不能再放正...
分类:
其他好文 时间:
2015-03-30 16:26:04
阅读次数:
156
MapReduce作业读取文件Map任务数量由InputSplit决定,InputSplit分片大小默认是HDFS块大小(hadoop1.x=64mb,hadoop2.x是128mb)。例如: MapReduce作业读取HDFS上(hadoop2.x)两个文件,一个是200MB,一个是100MB,....
分类:
其他好文 时间:
2015-03-21 21:09:37
阅读次数:
168
1.introductionRC2是一种传统的私钥块加密算法,曾经被考虑作为DES算法的替代品。输入和输出块大小都是64bits。而密钥是可变的,从1byte到128bytes,现在常用的是8字节。1.1Algorithm description字:16比特位;‘+’:加;‘&’:表示比特敏感的与操...
分类:
编程语言 时间:
2015-03-18 15:48:38
阅读次数:
252
1.使用虚拟机部署服务器的基本环境,1块CPU;1G内存;利用局域网连接服务器网络(host-only网络);两块scsi磁盘,每一块磁盘30G硬盘空间。(截图)1G内存1块CPU2块30G大小Scsi硬盘Host-only网络模式1.在C盘上安装安装WindowsServer2008。(截图)C盘安装Windowsserver2008安装完成
块大小为n1/3。把询问和修改分开。每次两个询问之间的修改进行暴力转移,如果修改在上一次询问的区间里,就会对当前状态形成影响。好慢。#include#include#include#includeusing namespace std;#define N 10001int num[N],n,m,b[...
分类:
其他好文 时间:
2015-03-10 13:25:00
阅读次数:
502
大文件表空间是oracle10g以及以后的版本引进的一个新表空间类型,主要用于决解存储大文件不够的问题。与普通表空间不同的是,大文件表空间只能对应唯一一个数据文件或临时文件,而普通表空间则可以最多对应1022个数据文件或临时文件。
虽然大文件表空间只能对应一个数据文件或临时文件,但其对应的文件可达4G数据块大小,而普通表空间对应的文件最大可达4M个数据块大小。
创建大文件表空间
...
分类:
数据库 时间:
2015-03-10 10:30:03
阅读次数:
140