问题描述: 源端是ES,目标端是MYSQL,但是ES配置的索引有26条记录。也配置了分页大小23,为什么手动执行一次后,只同步了10条记录
解释说明: ES端根据索引查询语句如下
GET /disngdig-loodnhg-2022/_search { "from":0, "size":30, "query": {"match_all": {}} }在es端进行分页 查询,参数配置如下
scroll=10m,szie=15 数据显示查询为十五条
将数据源同步配置分页改为15后,数据还是显示为10条
将查询语句内参数设置为:scroll=30m,szie=30时,ES端会查询出26 条记录,但是 dw上按照这个配置 游标 分页都是30,运行读还是10条ES默认size是10。
解决方法:
1、客户端请求发给某个节点。
2、节点转发给个个分片,查询每个分片上的前10条。
3、结果返回给节点,整合数据,提取前10条。
4、返回给请求客户端。
在Elasticsearch找到参数:index.max_result_window,无论Size设置多大都不能超过index.max_result_window。