合理建表分区有效提高查询速度。重要数据采用外部表存储，CREATE EXTERNAL TABLE，数据和表只是一个location的关联，drop表后数据不会丢失；内部表也叫托管表，drop表后数据丢失；所以重要数据的表不能采用内部表的方式存储。在全天的数据里查询某个时段的数据，性能很低效-----...
分类：
其他好文 时间：
2014-07-18 20:16:47
阅读次数：
298
概述
图1 linux系统过程big view
第一阶段引导加载程序
MBR 中的主引导加载程序是一个 512 字节大小的映像，其中包含程序代码和一个小分区表（参见图 2）。前 446 个字节是主引导加载程序，其中包含可执行代码和错误消息文本。接下来的 64 个字节是分区表，其中包含 4 个分区的记录（每个记录的大小是 16 个字节）。MBR 以两个特殊数字的字节...
分类：
系统相关 时间：
2014-07-18 17:06:59
阅读次数：
303
对文件的操作，都将涉及到对磁盘的访问。磁盘I/O速度的高低和磁盘系统的可靠性，都将直接影响到系统性能。
1.数据的组织和格式：
盘片----盘面----磁道----扇区。
低级格式化----磁盘分区----高级格式化
注意：每个分区就是一个独立的逻辑磁盘。
2.磁盘的类型：
1）固定头磁盘：在每条磁道上都有一读/写磁头，所有的磁头都被装在一刚性磁臂中。通过这些磁头可访问所有各磁...
分类：
其他好文 时间：
2014-07-18 11:31:51
阅读次数：
164
于NTFS文件系统的单个文件最大到底有多大？闲来无事突然想到这个问题，到网上搜索了一下也没有一个固定的解释。于是到微软官方知识库去寻找答案：可以看到NTFS单个最大文件是受卷大小的限制，我们平时使用的硬盘采用MBR分区方案，所以只能支持最大2TB的分区（硬盘）。大于2TB的硬盘需要采用GUID分区方...
分类：
其他好文 时间：
2014-07-18 09:25:55
阅读次数：
224
上一篇说到了，对于OS X 10.10 DP2，使用它内置的createinstallmedia命令生成的USB安装盘，安装后会把目标分区转化为Core Storage；另外，该命令的不完善的地方是，有的时候会说"xxx is not a valid volume mount point."而无法继续。所以，这个小脚本就派上了用场：...
分类：
其他好文 时间：
2014-07-17 16:39:39
阅读次数：
326
Hadoop代码测试环境：Hadoop2.4原理：在Hadoop的MapReduce过程中，Mapper读取处理完成数据后，会把数据发送到Partitioner，由Partitioner来决定每条记录应该送往哪个reducer节点，默认使用的是HashPartitioner，其核心代码如下：/** Use {@link Object#hashCode()} to partition. */
p...
分类：
其他好文 时间：
2014-07-17 15:06:56
阅读次数：
315
案例一：trackinfo，基础表处理常用的低性能UDF背景描述：日志信息10分钟加载一次到实时日志表trackreal中（按小时分区），为了保证实时性，在加载的过程中并没有做任何的过滤处理，加载到trackreal表后再过滤非法数据、爬虫数据等，生成按天增量日志表trackinfo，然后根据不同的...
分类：
其他好文 时间：
2014-07-17 13:09:44
阅读次数：
226
一、文件系统简介文件系统是操作系统用于明确磁盘或分区上的文件的方法和数据结构；即在磁盘上组织文件的方法。也指用于存储文件的磁盘或分区，或文件系统种类。操作系统中负责管理和存储文件信息的软件机构称为文件管理系统，简称文件系统。文件系统由三部分组成：与文件管理..
分类：
系统相关 时间：
2014-07-17 11:03:15
阅读次数：
475
linux下创建和管理LVM(初级)一.LVM简介，命令介绍，PV,VG,PE,LV简介。1.)LVM简介：逻辑卷管理器，通过底层磁盘设备创建逻辑卷，可以在线对分区进行扩展，缩减，可跨分区扩展。解决服务器使用时间过长，磁盘空间不足。也可逻辑卷进行快照，备份。2.)PV,VG,PE,LV简介：PVPhysical..
分类：
其他好文 时间：
2014-07-17 09:48:47
阅读次数：
294
在Linux平台中，第三方的软件安装位置一般是：/usr/local/和/srv,随着我们的应用渐渐增多。万一这些目录所在的分区使用完了。但是，这时候我们又需要安装新的应用软件，怎么办呢？Linux系统中/usr/share目录是存放帮助手册的，通常该目录所占用的磁盘空间比较大，使用rpm包安装..
分类：
其他好文 时间：
2014-07-17 09:10:38
阅读次数：
436
