开发者社区 > 大数据与机器学习 > 大数据计算 MaxCompute > 正文

大数据计算MaxCompute pyodps DataFrame可以分批获取数据吗?

大数据计算MaxCompute pyodps DataFrame可以分批获取数据吗?比如每批读10000行

展开
收起
天真无邪0928 2023-07-26 16:02:33 81 0
1 条回答
写回答
取消 提交回答
  • 可以的。

    MaxCompute pyodps DataFrame 可以从数据源中分批获取数据,只需要设置 read_options 中的 num_rows 属性。num_rows 指定在每次获取数据时从数据源中读取的数据量。如果 num_rows 为 None,将从数据源中读取所有数据。

    以下是一个从数据源中分批获取数据的示例代码:

    data_frame = odps.DataFrame('my_table')
    num_rows = 100
    data_frame = data_frame.read(read_options={'num_rows': num_rows})
    这个代码会从数据源中每隔 100 行读取一次数据,直到读取到所有数据。

    2023-09-26 11:38:36
    赞同 展开评论 打赏

MaxCompute(原ODPS)是一项面向分析的大数据计算服务,它以Serverless架构提供快速、全托管的在线数据仓库服务,消除传统数据平台在资源扩展性和弹性方面的限制,最小化用户运维投入,使您经济并高效的分析处理海量数据。

相关产品

  • 云原生大数据计算服务 MaxCompute
  • 热门讨论

    热门文章

    相关电子书

    更多
    Data+AI时代大数据平台应该如何建设 立即下载
    大数据AI一体化的解读 立即下载
    极氪大数据 Serverless 应用实践 立即下载