开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute现在读paimon走的是公网流量对吗。支持谓词下推吗?

大数据计算MaxCompute现在读paimon走的是公网流量对吗。支持谓词下推吗?

展开
收起
真的很搞笑 2024-03-21 07:45:20 59 0
3 条回答
写回答
取消 提交回答
  • MaxCompute读取Paimon不会走公网流量,且目前不支持谓词下推

    首先,关于网络流量的问题,MaxCompute与Paimon之间的数据传输通常走的是非公网的内网流量。这意味着在阿里云内部,MaxCompute访问Paimon时数据交换是通过内部网络进行的,而不是通过公共互联网,这样可以减少数据传输的延迟和成本。

    其次,至于谓词下推(Predicate Pushdown)的支持情况,这是一种优化技术,可以将查询中的过滤条件(谓词)尽可能地“下推”到存储层,以便在扫描数据之前就进行过滤,减少不必要的数据读取,从而提高查询效率。不过,根据现有的信息,MaxCompute在读取Paimon外部表时,暂时不支持谓词下推的功能。

    此外,如果您在使用MaxCompute读取Paimon外部表时遇到错误,可能需要检查您的配置和操作是否符合要求,或者查看是否有最新的更新和文档指导。因为软件和服务的配置可能会随着时间而变化,建议关注官方的最新公告和文档,以获取最准确的信息和技术支持。

    2024-03-31 21:26:43
    赞同 展开评论 打赏
  • 阿里云MaxCompute(原名ODPS)读取数据时是否走公网流量取决于您的数据源和MaxCompute集群的部署情况。如果您的数据源不在与MaxCompute同一VPC内,那么在某些情况下确实可能会涉及到公网流量。例如,如果您从外部对象存储服务(如OSS)中读取数据,并且未配置VPC内的内网访问,则会通过公网传输。

    至于谓词下推功能,MaxCompute支持对OSS数据进行谓词下推优化,即在读取数据之前先将过滤条件应用到OSS上,减少不必要的数据传输。这意味着在执行查询时,可以根据WHERE子句中的条件在OSS层预先筛选数据,从而提高查询性能和节省网络带宽。

    2024-03-22 16:15:03
    赞同 展开评论 打赏
  • 正常走的是内网,flink里创建catlog用的都是内网endpoint。如果用的是公网endpoint,就有流量073a301bd164830401f879924e841a2f.png
    ,此回答整理自钉群“MaxCompute开发者社区2群”

    2024-03-21 08:36:58
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载