MongoDB Reader 是一种用于从 MongoDB 数据库中读取数据的插件,常用于数据仓库、数据集成、数据迁移等场景。以下是 MongoDB Reader 插件的参数说明:
Endpoint:MongoDB 服务的地址,包括主机名和端口号,例如:localhost:27017。
Database:要读取数据的 MongoDB 数据库的名称。
Collection:要读取数据的 MongoDB 数据集合(表)的名称。
Authentication Mode:MongoDB 服务器的身份验证模式。可选的值有:
None:无需身份验证。 Basic Authentication:基本身份验证,需要输入用户名和密码。 MongoDB CR Authentication:MongoDB Challenge-Response 身份验证,需要输入用户名和密码。 SCRAM-SHA-1 Authentication:Salted Challenge Response Authentication Mechanism SHA-1 身份验证,需要输入用户名和密码。 SCRAM-SHA-256 Authentication:Salted Challenge Response Authentication Mechanism SHA-256 身份验证,需要输入用户名和密码。
参数 描述 是否必选 默认值 datasource 数据源名称,脚本模式支持添加数据源,此配置项填写的内容必须要与添加的数据源名称保持一致。 是 无 collectionName MonogoDB的集合名。 是 无 column MongoDB的文档列名,配置为数组形式表示MongoDB的多个列。 是 无 query 您可以通过该配置型来限制返回MongoDB数据范围,仅支持时间类型。例如您可以配置"query":"{'operationTime':{'$gte':ISODate('unknownT00:00:00.424+0800')}}",限制返回operationTime大于等于unknown零点的数据。此处unknown为DataWorks调度参数,其中last_day格式为yyyy-mm-dd。您可以根据需要具体使用其它MongoDB支持的条件操作符号($gt、$lt、$gte和$lte等),逻辑操作符(and和or等),函数(max、min、sum、avg和ISODate等)。 否 无——该回答整理自钉群“DataWorks交流群(答疑@机器人)”
MongoDB Reader插件通过MongoDB的Java客户端MongoClient,进行MongoDB的读操作,MongoDB Reader的全量参数包括:datasource、collectionName、column、batchSize、cursorTimeoutInMs、query、splitFactor 关于对应参数的参数说明可以参考文档:https://help.aliyun.com/document_detail/137723.html?spm=5176.smartservice_service_robot_chat_new.0.0.15dd709aFobvzx#section-jn2-gqh-p2b
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。