合理建表分区有效提高查询速度。重要数据采用外部表存储，CREATE EXTERNAL TABLE，数据和表只是一个location的关联，drop表后数据不会丢失；内部表也叫托管表，drop表后数据丢失；所以重要数据的表不能采用内部表的方式存储。在全天的数据里查询某个时段的数据，性能很低效-----...
分类：
其他好文 时间：
2014-07-18 20:16:47
阅读次数：
298
概述
图1 linux系统过程big view
第一阶段引导加载程序
MBR 中的主引导加载程序是一个 512 字节大小的映像，其中包含程序代码和一个小分区表（参见图 2）。前 446 个字节是主引导加载程序，其中包含可执行代码和错误消息文本。接下来的 64 个字节是分区表，其中包含 4 个分区的记录（每个记录的大小是 16 个字节）。MBR 以两个特殊数字的字节...
分类：
系统相关 时间：
2014-07-18 17:06:59
阅读次数：
303
查看分区情况SELECT * FROM information_schema.PARTITIONS WHERE table_name='table_name'；PARTITION_NAME:分区的名称PARTITION_METHOD:分区的类型TABLE_ROWS:分区数据条数RANGE分区：cre...
分类：
数据库 时间：
2014-07-18 14:23:09
阅读次数：
321
LVM:LogicalVolumnManager逻辑卷管理是用来做什么的？lvm将存储设备变成PV，然后把一个或多个PV组织成一个或多个卷组，再在卷组上创建LV。创建好LV后对其格式化，就可以挂载使用了。用LVM管理的硬盘好处是：不关机对分区大小调整，扩容方便，一个分区可以位于多块硬盘上。对每..
分类：
其他好文 时间：
2014-07-18 13:11:32
阅读次数：
207
LVM利用Linux内核来实现存储系统的虚拟化（系统分区独立于底层硬件）。通过LVM，你可以实现存储空间的抽象化并在上面建立虚拟分区，可以更简便地扩大和缩小分区，可以增删分区时无需担心某个硬盘上没有足够的连续空间.LVM的基本组成块:物理卷(PV)：可以在上面建立卷组的媒介，..
分类：
其他好文 时间：
2014-07-18 13:10:17
阅读次数：
242
对文件的操作，都将涉及到对磁盘的访问。磁盘I/O速度的高低和磁盘系统的可靠性，都将直接影响到系统性能。
1.数据的组织和格式：
盘片----盘面----磁道----扇区。
低级格式化----磁盘分区----高级格式化
注意：每个分区就是一个独立的逻辑磁盘。
2.磁盘的类型：
1）固定头磁盘：在每条磁道上都有一读/写磁头，所有的磁头都被装在一刚性磁臂中。通过这些磁头可访问所有各磁...
分类：
其他好文 时间：
2014-07-18 11:31:51
阅读次数：
164
于NTFS文件系统的单个文件最大到底有多大？闲来无事突然想到这个问题，到网上搜索了一下也没有一个固定的解释。于是到微软官方知识库去寻找答案：可以看到NTFS单个最大文件是受卷大小的限制，我们平时使用的硬盘采用MBR分区方案，所以只能支持最大2TB的分区（硬盘）。大于2TB的硬盘需要采用GUID分区方...
分类：
其他好文 时间：
2014-07-18 09:25:55
阅读次数：
224
上一篇说到了，对于OS X 10.10 DP2，使用它内置的createinstallmedia命令生成的USB安装盘，安装后会把目标分区转化为Core Storage；另外，该命令的不完善的地方是，有的时候会说"xxx is not a valid volume mount point."而无法继续。所以，这个小脚本就派上了用场：...
分类：
其他好文 时间：
2014-07-17 16:39:39
阅读次数：
326
Hadoop代码测试环境：Hadoop2.4原理：在Hadoop的MapReduce过程中，Mapper读取处理完成数据后，会把数据发送到Partitioner，由Partitioner来决定每条记录应该送往哪个reducer节点，默认使用的是HashPartitioner，其核心代码如下：/** Use {@link Object#hashCode()} to partition. */
p...
分类：
其他好文 时间：
2014-07-17 15:06:56
阅读次数：
315
案例一：trackinfo，基础表处理常用的低性能UDF背景描述：日志信息10分钟加载一次到实时日志表trackreal中（按小时分区），为了保证实时性，在加载的过程中并没有做任何的过滤处理，加载到trackreal表后再过滤非法数据、爬虫数据等，生成按天增量日志表trackinfo，然后根据不同的...
分类：
其他好文 时间：
2014-07-17 13:09:44
阅读次数：
226
