开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks网络如何打通?

DataWorks网络如何打通?

展开
收起
真的很搞笑 2023-12-29 23:34:45 72 0
3 条回答
写回答
取消 提交回答
  • 在阿里云DataWorks中,为了实现跨网络的数据集成和访问,通常需要进行以下步骤来打通网络环境:

    1. 同账号同一地域

      • 利用阿里云的云企业网(CEN)服务,将DataWorks工作空间所在VPC与数据源所在的VPC进行互通。通过创建CEN实例,并在其中添加两个VPC为成员,配置路由表规则以允许两个VPC之间的流量传输。
    2. 不同地域但同账号

      • 同样可以使用云企业网CEN连接不同地域的VPC,确保资源在同一个逻辑网络下能够互相访问。
    3. 配置网络资源

      • 创建或确认VPC网络:确保DataWorks工作空间和目标数据源都在合适的VPC内。
      • 配置安全组规则:在DataWorks工作空间以及数据源所在的ECS实例或其他服务的安全组中,开放必要的入站/出站端口,允许DataWorks服务地址或者指定IP范围访问所需的服务或数据库。
    4. NAT网关配置

      • 如果DataWorks需要访问公网或者其他不在同一VPC内的资源,可以设置NAT网关,并将其绑定到相应的子网,以便进行公网通信。
    5. 自定义资源组

      • 对于DataWorks数据集成任务,如果标准网络配置不能满足需求,可以通过添加自定义资源组来解决。这意味着你可以配置一个拥有足够权限且能访问所有所需数据源的ECS实例或MaxCompute等计算资源,然后在执行数据同步或处理任务时指定该资源组。
    6. 专有网络中的数据源访问

      • 若数据源是部署在专有网络(如MongoDB)中的,确保DataWorks的工作节点或者自定义资源组与该MongoDB服务器处于同一VPC内,并配置好相关的网络访问策略。

    通过上述步骤,可以在不同的网络环境下构建起DataWorks与数据源之间的稳定、安全的数据通路。

    2023-12-30 11:50:05
    赞同 2 展开评论 打赏
  • DataWorks资源组本质上为一组阿里云ECS实例,在运行数据集成、数据开发等任务时,需保障资源组与数据源之间的网络是连通的,且不会因为白名单等特殊安全访问设置阻断资源组与数据源之间的网络连通性。

    网络连通https://help.aliyun.com/zh/dataworks/user-guide/use-a-shared-resource-group?spm=a2c4g.11186623.0.i4

    公共资源组支持与阿里云内部数据源之间的访问连通,数据源所处的网络环境及其连通性支持情况如下。

    公共调度资源组

    若要访问公网地址,需要在工作空间配置界面配置沙箱白名单,配置沙箱白名单后仍无法访问,请使用独享调度资源组。

    仅支持访问无白名单访问控制的地址。访问有白名单访问控制的地址,或访问VPC地址,需要使用独享调度资源组。
    image.png

    2023-12-30 08:32:21
    赞同 展开评论 打赏
  • 场景一:数据源与DataWorks工作空间同阿里云主账号、同地域
    image.png
    场景二:数据源与DataWorks工作空间同阿里云主账号、不同的地域
    image.png
    场景三:数据库与DataWorks工作空间使用不同阿里云主账号
    image.png

    ——参考来源于阿里云官方文档

    2023-12-30 01:06:03
    赞同 1 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载