ES删除文档，未释放存储空间？

您所在的位置：网站首页 › es文件浏览器删除 › ES删除文档，未释放存储空间？

ES删除文档，未释放存储空间？

2023-08-06 00:40| 来源: 网络整理| 查看: 265

索引原理

ElasticSearch 是基于 Apache Lucene 开发的，内部自然沿用的就是 Lucene 的倒排索引，关于倒排索引大致的逻辑模型可以参考如下：

假设有两篇文档： Doc1: Life goes on, impossible is nothing; Doc2: Life is like a boat; 那么，索引的文件组织逻辑应该是这样的

词项文档ID life Doc1,Doc2 is Doc1,Doc2 goes Doc1 on Doc1 like Doc2 nothing Doc1 impossible Doc1 boat Doc2

对倒排索引以及 Apache Lucene 机制理解了，ES 很多相关的东西很容易深入。

遇到问题：

实际过程中，在删除文档后，磁盘空间并未释放，反而增加？

更新 & 删除机制

删除：每个段中维护一个.del 文件，ES 只是逻辑删除文档，在.del 文件中标记为已删除，查询依然可以查到，但是会在结果中过滤掉；

1）删除索引是会立即释放空间的，不存在所谓的“标记”逻辑。 2）删除文档的时候，是将新文档写入，同时将旧文档标记为已删除。磁盘空间是否释放取决于新旧文档是否在同一个segment file里面，因此ES后台的segment merge在合并segment file的过程中有可能触发旧文档的物理删除。

但因为一个shard可能会有上百个segment file，还是有很大几率新旧文档存在于不同的segment里而无法物理删除。想要手动释放空间，只能是定期做一下force merge，并且将max_num_segments设置为1。

更新：引入版本的概念，旧版本的记录将在 .del 文件中标记为删除，新版本的文档将被索引到一个新段（Segment）。

==有了上面的认知，我们可以设置仅保存近100天的数据,，并执行forcemerge操作==

1）delete_by_query设置检索近100天数据； 2）执行forcemerge操作，手动释放磁盘空间。

删除脚本如下：

#!/bin/sh curl -H'Content-Type:application/json' -d'{ "query": { "range": { "pt": { "lt": "now-100d", "format": "epoch_millis" } } } } '-XPOST "http://192.168.1.1:9200/logstash_*/_delete_by_query?conflicts=proceed"

merge脚本如下：

#!/bin/sh curl -XPOST 'http://192.168.1.1:9200/logstash_*/_forcemerge? only_expunge_deletes=true&max_num_segments=1'

实际上调用forcemerge也不是真正的删除，而是重新创建了不包含已删除的doc的segments。

【本文地址】

ES删除文档，未释放存储空间？

ES删除文档，未释放存储空间？

今日新闻

推荐新闻