DataWorks中的Elasticsearch Reader参数说明是什么?
在DataWorks中,Elasticsearch Reader是一种用于读取Elasticsearch数据的数据源插件。它可以从Elasticsearch中读取数据并将其作为输入源来执行数据集成、数据处理等操作。以下是Elasticsearch Reader的参数说明:
Endpoint:Elasticsearch的访问地址,包括主机和端口号。例如:http://localhost:9200。
Index:要读取的索引名称。
Type:要读取的文档类型。
Query DSL:可选参数,用于指定读取数据的查询条件。使用Elasticsearch的查询DSL语法来定义查询条件。
Columns:可选参数,用于指定读取的字段。可以指定要读取的字段列表,多个字段之间用逗号分隔。
Batch Size:可选参数,用于指定每次读取的批次大小。默认值为1000,表示每次从Elasticsearch读取的文档数。
Scroll Time:可选参数,用于指定滚动查询的保持时间,单位为分钟。默认值为5分钟,表示每次滚动查询的保持时间。
Scroll Size:可选参数,用于指定每次滚动查询的文档数。默认值为1000,表示每次滚动查询返回的文档数。
通过配置这些参数,您可以在DataWorks中使用Elasticsearch Reader插件来读取Elasticsearch中的数据,并将其作为输入源进行后续的数据处理和集成操作。请根据具体需求设置相应的参数。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。