开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

想问一下 DataWorks中mongodb 到 maxcompute 如果我有一个 数组 比如 ?

想问一下 DataWorks中mongodb 到 maxcompute 如果我有一个 数组 比如 parcels: [ObjectId("xxxxx"),ObjectId("xxxxx"),ObjectId("xxxxx") ] 怎样才能变成 parcels:[xxxxx, xxxxxx, xxxxxx]?

展开
收起
真的很搞笑 2023-07-31 10:18:05 73 0
3 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    果您想将MongoDB中的数据导入到MaxCompute中,且MongoDB中的数据包含数组类型的字段,可以通过以下步骤进行操作:

    在DataWorks中创建MongoDB数据源和MaxCompute数据源,分别用于连接MongoDB和MaxCompute。

    在DataWorks中创建数据同步任务,将MongoDB中的数据同步到MaxCompute中。在任务配置中,需要将MongoDB中的数组类型的字段拆分成多行数据进行同步。具体来说,可以使用DataWorks中的数据拆分器(Split)节点来实现。

    2023-08-01 08:02:24
    赞同 展开评论 打赏
  • 在将MongoDB的数组数据写入到MaxCompute时,如果您希望将包含ObjectId的数组转换为只包含其值的数组,可以使用DataWorks中的脚本转换功能来实现。

    以下是一种可能的解决方案:

    1. 在DataWorks中创建一个数据集:首先,在DataWorks工作空间中创建一个用于处理数据的数据集。

    2. 编写脚本转换逻辑:在数据集中,使用ODPS SQL语法编写脚本来进行数据转换。例如,假设源表名为source_table,目标表名为target_table,其中parcels字段是需要转换的数组字段。

      INSERT INTO target_table
      SELECT parcels.map(p -> p['$oid']) as parcels
      FROM source_table;
      

      在上述示例中,parcels.map(p -> p['$oid'])表示通过映射函数将每个ObjectId对象转换为其值。

    3. 执行脚本并保存结果:执行脚本以将转换后的数据写入目标表target_table

    请注意,具体的脚本逻辑和语法可能会因DataWorks版本和数据结构而有所不同。在实际操作中,您可能需要根据您的具体场景和数据结构进行适当的调整。

    另外,请确保在DataWorks中配置了正确的MongoDB数据源和MaxCompute数据源,并且具备相应的访问权限。

    如果需要更详细的操作指南或遇到其他问题,请参考阿里云DataWorks文档或联系阿里云技术支持获取进一步的帮助。

    阿里云DataWorks文档:https://help.aliyun.com/product/45325.html

    2023-07-31 11:53:33
    赞同 展开评论 打赏
  • Q1:MongoDB Reader数据类型:arrays、array、combine,写入ODPS预期结果 A1:MongoDB源端数据如下: image.png
    "type": "arrays",写入odps预期结果:image.png
    "type": "array", "splitter": " ,"写入odps预期结果: image.png
    "type": "combine",写入odps预期结果: {"_id":"60588dfe1cde2c1149776095","array_data": [{"iid":"11111","nname":"zzzzsan"},{"iid":"222","nname":"wwwww"}]} ---,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-07-31 10:37:29
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载