Mysql表分区操作及相关操作将ID设为自增长IDaltertablepw_trade_record_tempchangeIDIDint(4)auto_increment;分区字段必需为主键，修改主键ALTERTABLE`pw_trade_record`DROPPRIMARYKEY,ADDPRIMARYKEY(`ID`,`TRADE_TIME`);直接在建表时创建表分区创建range分区createtableemp(em..
分类：
数据库 时间：
2016-05-27 15:05:18
阅读次数：
241
Hive 7、Hive 的内表、外表、分区 1、Hive的内表 Hive 的内表，就是正常创建的表，在 http://www.cnblogs.com/raphael5200/p/5208437.html 中已经提到； 2、Hive的外表 创建Hive 的外表，需要使用关键字 External： CR ...
分类：
其他好文 时间：
2016-05-27 14:22:54
阅读次数：
1343
有一个表tb_3a_huandan_detail，每天有300W左右的数据。查询太慢了，网上了解了一下，可以做表分区。由于数据较大，所以决定做定时任务每天执行存过自动进行分区。 1、在进行自动增加分区前一定得先对表手动分几个区 2、分区存过如下： 3、增加定时事件 参考： http://blog.c ...
分类：
数据库 时间：
2016-05-26 18:55:52
阅读次数：
853
架构层面优化：
l 分表
l 合理利用中间结果集，避免查过就丢的资源浪费，减低Hadoop的IO负载
l 常用复杂或低效函数尽量不用或拆分成其他实现方式，如count(distinct)
l 合理设计表分区，静态分区和动态分区
l 优化时一定要把握整体，单个作业最优不如整个作业最优。
l 文件存储格式和压缩方式
l Hadoop本身的优化
l 有些逻辑，使用系统函数...
分类：
其他好文 时间：
2016-05-24 12:10:40
阅读次数：
3837
Mysql表分区操作及相关操作将ID设为自增长IDaltertablepw_trade_record_tempchangeIDIDint(4)auto_increment;分区字段必需为主键，修改主键ALTERTABLE`pw_trade_record`DROPPRIMARYKEY,ADDPRIMARYKEY(`ID`,`TRADE_TIME`);直接在建表时创建表分区创建range分区createtableemp(em..
分类：
数据库 时间：
2016-05-23 19:32:18
阅读次数：
262
Mysql 表分区操作及相关操作 将ID设为自增长ID alter table pw_trade_record_temp change ID ID int(4) auto_increment; 分区字段必需为主键，修改主键 ALTER TABLE `pw_trade_record` DROP PRI ...
分类：
数据库 时间：
2016-05-23 14:42:10
阅读次数：
240
一、分区表
分区技术，Oracle允许把一个大表分成几部分，每部分叫一个分区，然后把每个部分放在不同的物理磁盘，以提高整个数据库的性能。
每个分区还可以再分成几份，这样产生的分区叫子分区（Subpartition）。分区表逻辑上还是一个整体。
1、优点：
（1）分区技术使数据库的可管理性变得更加容易，
如：用户可以往一个单独的分区中装载数据，而对其它分区没有任何影响；用...
分类：
数据库 时间：
2016-05-12 15:01:12
阅读次数：
243
http://john88wang.blog.51cto.com/2165294/1770582在前面介绍可以通过创建新表然后导入一个月内的数据到新表，最后删除旧表的方法来处理历史数据。但是这种方式非常耗费时间，至少是几个小时，同时也不必须停掉zabbixserver防止新的数据写入。对于需要全天不停地处理监控的应..
分类：
数据库 时间：
2016-05-09 18:51:43
阅读次数：
215
现在业务有一张usertrack 日志记录表。每天会产生30万条数据。数据量大查询效率会非常慢 所以我考虑通过表分区来提示效率 逻辑上是一张表。但是分区后会按照分区条件将数据分在不同的物理文件 优点： 1) 改善查询性能：对分区对象的查询可以仅搜索自己关心的分区，提高检索速度。 2) 增强可用性：如 ...
分类：
数据库 时间：
2016-05-07 13:14:42
阅读次数：
709
--添加student 表字段（CREATEDATE）按月分区alter table student add partition p201600 values less than (TO_DATE('2016-01-01','YYYY-MM-DD'));alter table student add ...
分类：
其他好文 时间：
2016-05-04 16:57:13
阅读次数：
104
