开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

mongo同步到odps最佳实践有吗?

mongo同步到odps最佳实践有吗?

展开
收起
爱喝咖啡嘿 2022-12-26 18:17:04 175 0
1 条回答
写回答
取消 提交回答
  • mongoDB到odps样例: 写在前面举例:mongoDB的authDb库为admin库,那么业务同步其他库数据该怎么办? 请在数据源配置中库名填写业务库名,确保username权限正常,若数据源连通性报错auth failed可先忽略。 需要另在同步任务json配置中添加"adthDb":"admin"参数。 样例如下: { "type": "job", "version": "2.0", "steps": [ { "stepType": "mongodb", "parameter": { "datasource": "wpw_test_mongo", "authDb":"admin", "envType": 0, "column": [ { "name": "col1", "type": "string" }, { "name": "col2", "type": "array", "splitter": " " }, { "name": "col3", "type": "string" }, { "name": "col4", "type": "int" }, { "name": "col5", "type": "bool" }, { "name": "col6", "type": "double" } ], "collectionName": "wpw_test_collec" }, "name": "Reader", "category": "reader" }, { "stepType": "odps", "parameter": { "partition": "pt=unknown", "truncate": true, "datasource": "odps_first", "envType": 0, "column": [ "col1", "col2", "col3", "col4", "col5", "col6" ], "emptyAsNull": false, "tableComment": "*", "table": "wpw_test" }, "name": "Writer", "category": "writer" } ], "setting": { "executeMode": null, "errorLimit": { "record": "" }, "speed": { "concurrent": 2, "throttle": false } }, "order": { "hops": [ { "from": "Reader", "to": "Writer" } ] } }——此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2022-12-27 17:29:02
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关电子书

更多
DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载