分桶法(bucketmethod)是把一排物品或者平面分成桶，每个桶分别维护自己内部的信息，以达到高效计算的目的的方法。
其中，平方分割(sqrtdecomposition)是把排成一排的n个元素每根号n个分在一个桶内进行维护的方法的统称。这样的分割方法可以使对区间的操作的复杂度降至O(根号n)。
和线段树一样，根据维护的数据不同，平方分割可以支持很多不同的操作。接下来，和线段树一样，...
分类：
其他好文 时间：
2016-04-29 15:57:51
阅读次数：
451
1.Hive分区表 Hive使用select语句进行查询的时候一般会扫描整个表内容，会消耗很多时间做没必要的工作。Hive可以在创建表的时候指定分区空间，这样在做查询的时候就可以很好的提高查询的效率。 创建分区表的语法： [java] view plain copy create table tab
分类：
其他好文 时间：
2016-01-31 21:24:30
阅读次数：
342
应用场景： 3kw行url+\t+html记录 【网站混合】 需要：按照网站来源分桶输出执行shellcat */*pack.html|awk -F '\t' '{ split($1,arr,"/"); site=arr[3]; print $0 > site }'
分类：
Web程序 时间：
2016-01-18 18:58:53
阅读次数：
186
一道比较经典的数据结构题。可以用多种方式来做。一，分桶法(平方分解)。根据数字x的大小和区间内不大于x的数字数量cnt的单调性，可知第k大数kth对应的cnt应该满足cnt≥k，且kth是满足条件的最小的一个，可以二分下界。关键在于高效找出cnt，对于每个完整的桶，排序以后二分，不完整的桶就直接暴力...
分类：
其他好文 时间：
2015-11-07 16:07:44
阅读次数：
315
分区和桶：hive把表组织成分区，这是一种根据分区列的值进行粗略划分的机制。使用分区可以加快数据分片的查询速度。
表或分区可以进一步划分为桶，它会为数据提供额外的数据结构从而获得更高效的查询处理。比如：根据用户ID来划分桶，我们可以在所有用户集合的随机样本上快速计算基于用户的查询。分区：
分区是在创建表时用PARTITIONED BY子句进行定义。该子句需要定义列的列表。create tab...
分类：
其他好文 时间：
2015-08-30 11:28:43
阅读次数：
244
一.概念引入有作者把计数排序也称为桶排序(各个桶中元素的排序采用计数排序)，得到数组C后直接从前往后遍历，输出数组值次数组下标，为0就不输出(或者存入原数组，不稳定)，不过笔者认为这种说法不严谨(一个很明显的问题是输出会是双重for循环，不过也有那个意思，叫鸽巢排序也未尝不可)，因为桶排序要求输入数据在[0,1)范围内(计数排序要求整数；实际上要么全是整数，要么小数，便于划分桶)...
分类：
编程语言 时间：
2015-07-31 16:18:24
阅读次数：
106
题目的意思：给点区间[a, b]，查找第K大的数，和POJ2104题一样，只是HDU上的时间限制5000MS，用我在POJ上的方法，过不了，会超时。
而这一题的代码，改一下main函数的输入，就可以直接AC了POJ上的2104.
这题，用分桶法，WR，纠结了一晚上，最后还是放弃了，实在不知道错在哪里。于是改用了划分树的方法，学习了划分树的建立和查找。
划分树：主要运用于求解序列中区间[a, ...
分类：
其他好文 时间：
2015-07-25 15:20:52
阅读次数：
159
分表策略1、按时间分表 特点，不同的天数，时间可能不均匀，有的多，有的少，并且可能出现数据量过大的情况2、按哈希取模分表 （或主键取模） 特点：区间查找不在同一数据表，难以查找，分桶数无法增加，增加需要重构3、二进制移位分表 特点：比较灵活，但数据分割位置比较难控，所以区间查找难以实现。 一般右移2...
分类：
数据库 时间：
2015-07-23 15:34:03
阅读次数：
163
分区表在Hive Select查询中，一般会扫描整个表内容，会消耗很多时间做没必要的工作。
分区表指的是在创建表时，指定partition的分区空间。分区语法
create table tablename
name string
)
partitioned by(key type,…）
create table if not exists employees(
name st...
分类：
其他好文 时间：
2015-07-15 19:17:13
阅读次数：
170
桶表1）桶是更为细粒度的数据范围划分，它能使一些特定的查询效率更高2）保存数据时，取分桶字段的哈希值，跟分桶数取余，然后将数据放到不同的桶（文件）里。1、定义：create table b1(id int, name string) clustered by (id) into 4 buckets;...
分类：
其他好文 时间：
2015-06-08 14:45:38
阅读次数：
427
