开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks pyodps dataframe能转成转成mars吗?

DataWorks pyodps dataframe能转成转成mars吗?

展开
收起
真的很搞笑 2023-08-27 14:26:44 72 0
1 条回答
写回答
取消 提交回答
  • pyodps dataframe 可以通过 to_mars 方法转换成 mars dataframe。

    df = odps.get_table('table_name')
    mars_df = df.to_mars()
    

    转换完成后,mars_df 就可以像普通的 mars dataframe 一样进行操作了。

    需要注意的是,如果 df 是 odps.DataFrame 对象,则 to_mars 方法会将 df 中的数据原样复制到 mars 中,并创建一个新的 mars.DataFrame 对象。如果 df 是 odps.Table 对象,则 to_mars 方法会将 df 中的所有数据从 odps 中拉取到本地,并创建一个新的 mars.DataFrame 对象。

    所以,如果 df 的数据量很大,则 to_mars 方法可能会比较耗时,因此在使用 to_mars 方法时,需要根据实际情况进行选择。

    2023-09-18 15:54:38
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 相关电子书

    更多
    DataWorks调度任务迁移最佳实践-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载

    相关实验场景

    更多