【Elasticsearch】-批量操作

参考文档

https://www.elastic.co/guide/en/elasticsearch/reference/7.11/docs-bulk.html#bulk-api-request-body

在单个API调用中执行多个索引或删除操作。减少网络请求开销，提高索引速度。

API请求方式如下图所示：

比如以下例子，一个请求中包含index、delete、create、update四个操作

Request body

请求正文包含创建，删除，索引和更新操作以及它们关联的源数据列表。

create 如果文档不存在，在es中索引指定的文档信息

_index：当API路径中的未指定时，此参数必填

_id: 文档的id，如果未指定es回自动生成一个ID

delete从索引中删除指定的文档

_index：当API路径中的未指定时，此参数必填

_id: 文档的id，此参数必须的

index索引指定的文档。如果文档存在，则替换文档并递增版本。第二行必须包含要索引的源数据。

_index：当API路径中的未指定时，此参数必填

_id: 文档的id，如果未指定es回自动生成一个ID

update执行部分文档更新。第二行必须包含部分文档和更新选项。

_index：当API路径中的未指定时，此参数必填

_id: 文档的id，此参数必须的

doc: 索引的部分文档。更新操作所需。

fileds:文档的字段

detect_noop:默认值为true,默认情况下只有原来的source和新的source存在不同的字段情况下才会重建索引，如果一模一样是不会触发重建索引的，如果将detect_noop=false不管内容有没有变化都会重建索引，这一点可以通过version的值的变化来查看是否重建索引。

使用retry_on_conflict参数可以指定当文档冲突时，尝试更新的次数

update操作支持部分文档更新，Upsert，doc_as_upsert，script，params（for脚本），lang（for脚本）和_source。

几种方式可参照以下例子

curl-XPOST-uundefined:$ESPASS"localhost:9200/_bulk?pretty"-H'Content-Type: application/json'-d'#部分文档更新{ "update" : {"_id" : "1", "_index" : "index1", "retry_on_conflict" : 3} }
{ "doc" : {"field" : "value"} }
#支持脚本 upsert{ "update" : { "_id" : "0", "_index" : "index1", "retry_on_conflict" : 3} }
{ "script" : { "source": "ctx._source.counter += params.param1", "lang" : "painless", "params" : {"param1" : 1}}, "upsert" : {"counter" : 1}}
#支撑doc_as_upsert 如果没有就创建，又就覆盖，source如果完全相同，默认不会执行任何操作{ "update" : {"_id" : "2", "_index" : "index1", "retry_on_conflict" : 3} }
{ "doc" : {"field" : "value"}, "doc_as_upsert" : true }
#返回值显示_source信息{ "update" : {"_id" : "3", "_index" : "index1", "_source" : true} }
{ "doc" : {"field" : "value"} }
#返回值显示_source信息{ "update" : {"_id" : "4", "_index" : "index1"} }
{ "doc" : {"field" : "value"}, "_source": true}

因为是单次请求，批量操作。多个操作中可能部分操作失败，当有操作失败时，返回信息如下所示：

其中errors=true代表有失败的操作，每个error代表失败操作的原因。

若仅需要返回有关失败操作的信息，可使用Filter_Path查询参数。

返回结果如下图所示

批量操作，文档数量的设置

整个批量请求都需要由接收到请求的节点加载到内存中，因此该请求越大，其他请求所能获得的内存就越少。 批量请求的大小有一个最佳值，大于这个值，性能将不再提升，甚至会下降。 但是最佳值不是一个固定的值。它完全取决于硬件、文档的大小和复杂度、索引和搜索的负载的整体情况。

幸运的是，很容易找到这个最佳点：通过批量索引典型文档，并不断增加批量大小进行尝试。 当性能开始下降，那么你的批量大小就太大了。一个好的办法是开始时将 1,000 到 5,000 个文档作为一个批次, 如果你的文档非常大，那么就减少批量的文档个数。

密切关注你的批量请求的物理大小往往非常有用，一千个 1KB 的文档是完全不同于一千个 1MB 文档所占的物理大小。 一个好的批量大小在开始处理后所占用的物理大小约为 5-15 MB。