问下大数据计算MaxCompute odpssql 抽取样本数据会有重复数据是怎么回事啊？
问下大数据计算MaxCompute odpssql ORDER BY RAND() LIMIT 499472 抽取样本数据会有重复数据是怎么回事啊？
展开
收起
3
条回答
写回答
写回答
-
MaxCompute SQL的ORDER BY RAND()在执行时可能会导致重复数据，因为这不是真正的随机抽样。要无重复地抽取样本数据，可以使用SAMPLE关键字，如SAMPLE 0.01来获取1%的无偏样本。若需要特定数量的样本，可能需要多次采样并去重。如果需要确保无重复，您可以在外部应用中处理，例如通过UDF去重。
2024-07-05 16:37:26赞同 展开评论 打赏 -
-
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
MaxCompute（原ODPS）是一项面向分析的大数据计算服务，它以Serverless架构提供快速、全托管的在线数据仓库服务，消除传统数据平台在资源扩展性和弹性方面的限制，最小化用户运维投入，使您经济并高效的分析处理海量数据。
热门讨论
热门文章
MaxCompute中执行SQL报错ODPS-0130071
23825
Maxcompute中如何处理ODPS-0130071:Semantic analysis exce
792
maxcomputer 和 dataworks 有什么区别？
562
MaxCompute单元测试没有问题，通过本地运行却显示字段不存在，但是这个字段我是有的，有碰到吗？
2944
大数据计算MaxCompute配置参数在开发环境进行调度，参数解析不出来，这是需要额外做什么配置吗？
381
大数据计算MaxCompute如果一个字段超过8mb，mc有办法存储吗？
511
MaxCompute sql任务报错ODPS-0130161
740
请问大数据计算MaxCompute有主键这种说法么?
1117
大数据计算MaxCompute中如果说我这边的程序接收到用户上传文件的请求，应该调用哪个API接口？
1762
大数据计算MaxCompute这个报错是超时还是时间类型字段数值超出范围啊？
195
展开全部
阿里云开源离线同步工具DataX3.0介绍
105017
大数据环境下该如何优雅地设计数据分层
40467
odps是什么?
70724
美柚：最懂女性App背后的混合云架构与大数据服务
23947
阿里云MaxCompute（大数据）公开数据集---带你玩转人工智能
24581
【转载】时隔一年多，我又用起了 Superset
17454
干货：解码OneData，阿里的数仓之路。
20831
阿里云MaxCompute 2019-5月刊
15161
【大数据干货】数据进入阿里云数加-大数据计算服务MaxCompute（原ODPS）的N种方式
16299
大数据workshop：《云数据·大计算：海量日志数据分析与应用》之《数据加工：用户画像》篇
13109
展开全部
