开发者社区> 问答> 正文

在本地调用pyodps的sdk时,想将odps上的表转成dataframe,限制只能得到10000行的dataframe,若使用open_reader函数读取表,则需要关闭【项目空间数据保护】才能读到。意思是 调用sdk时将odps上的表转成dataframe需要把全部数据下载到本地吗?有没有办法不关闭【项目空间数据保护】而将odps上的表全部转成dataframe,在本地写脚本操作?

在本地调用pyodps的sdk时,想将odps上的表转成dataframe,限制只能得到10000行的dataframe,若使用open_reader函数读取表,则需要关闭【项目空间数据保护】才能读到。意思是 调用sdk时将odps上的表转成dataframe需要把全部数据下载到本地吗?有没有办法不关闭【项目空间数据保护】而将odps上的表全部转成dataframe,在本地写脚本操作?

展开
收起
琴瑟 2017-05-27 17:23:32 9773 0
2 条回答
写回答
取消 提交回答
  • 为梦想灼伤了自己,也不要平庸的喘息。

    修改一下限制应该就可以了。

    from odps import options

    options.df.odps.sort.limit = 1000000000

    2019-12-28 12:08:42
    赞同 展开评论 打赏
  • TA有点害羞,没有介绍自己...

    没有好办法,dataframe需要把数据下到本地,如果开了项目空间数据保护就不能下载数据了。

    2019-07-17 21:13:43
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
Data+AI时代大数据平台应该如何建设 立即下载
大数据AI一体化的解读 立即下载
极氪大数据 Serverless 应用实践 立即下载