很多朋友不知道怎么入手学习大数据，今天科多大数据带你进入大数据的世界。 一、Hadoop入门，了解什么是hadoop 1、Hadoop产生背景 2、Hadoop在大数据、云计算中的位置和关系 3、国内外Hadoop应用案例介绍 4、国内Hadoop的就业情况分析及课程大纲介绍 5、分布式系统概述 6 ...
分类：
其他好文 时间：
2017-06-23 15:30:17
阅读次数：
216
为什么要创建oracle分区表？ 一般情况下，如果不分区，则每次查询的对象都是一整张表，如果采用了表分区，那么可以根据具体的分区字段当作条件来避免扫描整张表，减少IO的扫描以提高表的查询速度。 新建(按照日期自动分区)分区表 尝试插入数据，之后查看动态分区表的分区个数： 从上边表中我们基本可以看出， ...
分类：
数据库 时间：
2017-06-23 10:43:05
阅读次数：
242
数据库结构的优化有多种方法，主要的有两种： 一是利用存储过程来代替常用的SQL查询语句，减少sql语句解析编译的过程。 另一种是使用数据库管理系统中的分区表方法进。 使用存储过程的优化方法有执行速度快的优点，但是其本身不利于调试、没有办法使用数据库缓存机制等缺点，所以在系统安全性和性能要求更高的情况 ...
分类：
数据库 时间：
2017-06-18 11:59:20
阅读次数：
177
分区表 主要提供例如以下的特性，或者适合如此场景： 数据量非常大， 或者仅仅有表中最后的部分有热点数据。其它均为历史数据 分区表数据更easy维护，能够对独立的分区删除等操作 分区表的数据能够分布在不同的物理设备上。从而高效地利用多个硬件设备。 能够避免一些特殊瓶颈。比方InnoDB的单个索引的相互 ...
分类：
数据库 时间：
2017-06-14 22:26:11
阅读次数：
245
1. 什么是表分区? 表分区，是指根据一定规则，将数据库中的一张表分解成多个更小的，容易管理的部分。从逻辑上看，只有一张表，但是底层却是由多个物理分区组成。 2. 表分区与分表的区别 分表：指的是通过一定规则，将一张表分解成多张不同的表。比如将用户订单记录根据时间成多个表。 分表与分区的区别在于：分 ...
分类：
数据库 时间：
2017-06-13 16:40:34
阅读次数：
256
当数据非常庞大的时候，比如，要查询ID<1000的时候，如果不使用表分区的话，需要全表扫描（判断每条记录的ID是否小于1000），这样大大影响了查询的速度。创建索引是性能调优的方法，同样，表分区也是。每个分区都是独立的一个段，可以放在不同的表空间下面。 表分区有以下优点： （1）由于将数据分散到各个 ...
分类：
数据库 时间：
2017-06-10 20:30:26
阅读次数：
266
分区表： 分区表是一个独立的逻辑表，底层通过多个物理表实现。 mysql实现分区表的方式是对底层表的封装。这意味着没有全局索引，索引是建立在底层的每个表上的（跟ORACLE不一样）。 用到分区表的几种情况： 数据量非常大，无法全部放到内存中。 只有部分数据是热点数据，其他数据是历史数据。 限制： 一... ...
分类：
数据库 时间：
2017-06-10 17:03:59
阅读次数：
318
目录 零、主要参考网页 一、概述 二、分区类型以及创建方式 三、分区表的管理 三、分区表的管理 四、获取分区表信息 四、获取分区表信息 五、分区的局限与分表 零、主要参考网页 http://www.2cto.com/database/201503/380348.html【mysql分表和表分区详解】 ...
分类：
数据库 时间：
2017-06-06 00:55:42
阅读次数：
304
1.创建分区表： 分区表有自己的分区列，而分区表则没有。 public static void createTableWithPartition(Odps odps, String createTableName) throws Exception { Tables tables = odps.ta ...
分类：
其他好文 时间：
2017-06-05 12:36:52
阅读次数：
1232
hive 分组排序，topN 语法格式：row_number() OVER (partition by COL1 order by COL2 desc ) rankpartition by：类似hive的建表，分区的意思；order by ：排序，默认是升序，加desc降序；rank：表示别名表示根 ...
分类：
编程语言 时间：
2017-05-27 13:37:53
阅读次数：
222
