Lucene段合并的参数估计

时间：2014-10-18 22:23:57 阅读：268 评论：0 收藏：0 [点我收藏+]

使用lucene默认的TieredMergePolicy,索引更新时最大会占用多少硬盘,要看mergepolicy何时触发merge。
从代码中可以看出，只有当eligible.size() >= allowedSegCountInt时才触发。
eligible是大小不超过阈值的段集合，allowedSegCountInt计算如下,设segsPerTier为a,maxMergeAtOnce为b,bytesLeft(以M为单位)每次减去2b, 2(a^2)(b^2),...(等比数列),allowedSegCountInt就加上a,直到bytesLeft减到0为止 >由此算出:
n <= log(ab,1-bytesLeft(1-ab)/2b)
allowedSegCountInt = ceil(a*log(ab,1-bytesLeft(1-ab)/2b)),
使用默认的设置a=10,b=10,如果bytesLeft=10000(10G),则allowedSegCountInt=24,也就是说只有小段数量超过24时才触发merge。
保持ab乘积不变，a(segsPerTier)越小越容易触发合并。

Lucene段合并的参数估计

标签：Lucene 使用 sp on log 代码 ef size ie

原文地址：http://blog.csdn.net/jollyjumper/article/details/40221811

踩

(0)

评论一句话评论（0）

分享档案

更多>

2021年07月29日 (22)
2021年07月28日 (40)
2021年07月27日 (32)
2021年07月26日 (79)
2021年07月23日 (29)
2021年07月22日 (30)
2021年07月21日 (42)
2021年07月20日 (16)
2021年07月19日 (90)
2021年07月16日 (35)

周排行