开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks什么是独享数据集成资源组?

DataWorks什么是独享数据集成资源组,vertica独享之后,不能进行其他云上运算与集成操作吗?

展开
收起
真的很搞笑 2023-10-16 21:08:31 69 0
4 条回答
写回答
取消 提交回答
  • 在DataWorks中,独享数据集成资源组是一种特殊的资源组,它可以为数据集成任务分配独立的计算资源,从而提高任务的执行效率和稳定性。这种资源组的使用场景包括需要访问VPC环境下的数据库、有白名单访问控制的数据库等情况。

    至于Vertica独享后不能进行其他云上运算与集成操作的问题,这主要取决于你的具体使用情况。如果你的任务只需要访问Vertica数据库,并且对计算资源的需求不大,那么独享Vertica可能不会影响其他运算与集成操作。但是,如果你的任务需要大量的计算资源,或者需要进行其他类型的数据集成操作,那么独享Vertica可能会影响这些操作的执行。因此,你需要根据你的实际需求来决定是否使用独享Vertica。

    2023-10-31 23:41:23
    赞同 展开评论 打赏
  • 面对过去,不要迷离;面对未来,不必彷徨;活在今天,你只要把自己完全展示给别人看。

    在DataWorks中,独享数据集成资源组是指用户可以独享一组计算资源,用于执行数据集成任务。通过独享数据集成资源组,用户可以避免与其他用户共享计算资源,从而提高数据集成任务的运行效率和稳定性。
    至于Vertica独享之后,是否可以进行其他云上运算与集成操作,这取决于具体的业务需求和资源使用情况。如果需要在独享的Vertica资源组中进行其他云上运算和集成操作,那么需要确保这些操作不会与数据集成任务产生冲突,以及不会超出独享资源组的计算资源限制。
    另外,如果需要在独享的Vertica资源组中进行其他云上运算和集成操作,那么还需要考虑到这些操作的成本问题。因为独享资源组的计算资源是需要付费的,如果频繁进行其他云上运算和集成操作,可能会导致资源浪费和成本增加。因此,在使用独享资源组时,需要合理规划和使用计算资源,以确保资源的充分利用和成本的有效控制。

    2023-10-17 15:15:10
    赞同 展开评论 打赏
  • 本文以阿里云rds数据库为例(其他数据库操作类似),进行vpc网络打通:
    1.购买rds实例:此处购买的是mysql5.7版本,上海region可用区E的rds实例
    image.png

    根据需要购买相应版本、规格的rds数据库:
    image.png

    2.DataWorks侧的配置步骤:
    2.1购买上海region的独享数据集成资源组(资源组目前随机分配可用区,不需要指定):
    image.png
    image.png

    资源组规格请按需购买。
    不同规格所支持的任务并发数参见链接:
    https://help.aliyun.com/document_detail/118791.html?spm=a2c4g.11186623.6.569.24437e02vKi4wx
    3.创建完之后进行网络打通:
    3.1点开 查看信息,会出现独享数据集成资源组信息
    image.png

    之后我们将其绑定到某个工作空间;
    image.png

    3.2绑定工作空间(即该独享数据集成资源组可被该空间使用)之后进行专有网络绑定:
    点开dataworks管控台的资源组列表找到创建好的独享资源组,点击网络配置入口:

    绑定界面上勾选rds实例的vpc信息并进行绑定:
    image.png

    以上这两个信息都需要在rds实例侧进行查看(截图如下):
    image.png
    image.png

    以上步骤完成了数据集成独享资源组与数据库实例所在vpc的绑定(但是连通性还是不过的,还需要加白名单)。
    3.3 添加白名单(重要步骤)
    将独享数据集成资源组专有网络绑定界面中的交换机网段添加至rds白名单中。
    image.png

    添加到rds实例白名单配置中并保存:
    image.png

    4.查看独享集成资源组的可用区与rds实例的可用区是否一致以及专有网络中是否有默认大网段路由(如果没有大网段路由且数据集成资源组的可用区与数据库实例的可用区不一致需要做以下“添加路由”的步骤,如果一致或已经有整个vpc网段的路由以下步骤则忽略)
    4.1查看独享资源组可用区是否和rds实例可用区一致:
    在新增专有网络绑定中可查看独享资源组的具体可用区。若和rds实例可用区不一致,需添加路由规则。

    image.png
    添加路由:
    点击数据集成独享资源组的专有网络绑定入口并跳转到专有网络信息页(如下)
    image.png

    2.添加自定义路由打通不同可用区的vpc。
    image.png

    独享数据集成资源组 主要是用来数据同步的资源,同步完成后数据可以在引擎或数据库内正常访问和计算,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-10-17 07:13:53
    赞同 展开评论 打赏
  • 在 DataWorks 中,独享数据集成资源组是一种资源隔离的方式,可以为特定的数据集成任务提供专属的资源池。当您将某个数据集成任务配置为独享数据集成资源组后,该任务将独占一部分资源,不会与其他任务共享。

    关于您提到的 Vertica 独享资源组,需要说明以下几点:

    1. 独享资源组针对的是数据集成任务:独享资源组主要适用于数据集成任务,即将数据从源系统抽取并加载到目标系统的任务。它并不会影响其他云上运算和数据集成操作的能力。

    2. 资源隔离与优化:通过独享数据集成资源组,您可以为某个重要、复杂或高频的数据集成任务提供更多的计算资源,以确保其执行性能和稳定性。这有助于避免因其他任务共享资源而导致的性能问题。

    3. 其他云上运算和集成操作:独享数据集成资源组并不会限制您进行其他云上运算和集成操作。您仍然可以创建和运行其他类型的任务,如数据处理、数据计算、工作流等。这些任务可以继续使用共享的资源池进行执行。

    总结来说,独享数据集成资源组是为了给特定的数据集成任务提供专属资源,并不会影响其他云上运算和集成操作的能力。您可以根据实际需求,灵活地为不同类型的任务配置资源,以满足业务需求和性能要求。

    2023-10-16 21:31:00
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    Flink CDC:新一代数据集成框架 立即下载
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    《DataWorks 数据集成实时同步》 立即下载