MaxCompute产品使用合集之读取OSS数据出现重复的情况是什么导致的

简介: MaxCompute作为一款全面的大数据处理平台,广泛应用于各类大数据分析、数据挖掘、BI及机器学习场景。掌握其核心功能、熟练操作流程、遵循最佳实践,可以帮助用户高效、安全地管理和利用海量数据。以下是一个关于MaxCompute产品使用的合集,涵盖了其核心功能、应用场景、操作流程以及最佳实践等内容。

问题一:大数据计算MaxCompute我读oss 数据 按分区。数据翻倍是什么情况啊?

大数据计算MaxCompute我读oss 数据 按分区。数据翻倍是什么情况啊?就是数据明显是重复了 一模一样的2条

有个问题 我的oss数据是5分钟更新一次 和这个有关系吗?



参考答案:

比如你说哪条数据多了,我看oss上也是csv文件,可以直接本地打开看下,这条数据是不是本身就是这样的。

因为oss外表的数据本身不存储在MaxCompute上,MaxCompute只是做了映射读出来,我理解不应该出现多数据的情况

有,源端数据是变化的,读出来的也不一样。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/574927



问题二:大数据计算MaxCompute支持生成临时表吗?

大数据计算MaxCompute支持生成临时表吗?



参考答案:

MaxCompute没有临时表的概念,在建表的时候加上生命周期就行。

生命周期操作:https://help.aliyun.com/zh/maxcompute/user-guide/lifecycle-management-operations?spm=a2c4g.11186623.0.i6To



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/574926



问题三:帮我看下大数据计算MaxCompute这个问题 我把数据拉出来看 是122?

帮我看下大数据计算MaxCompute这个问题 我把数据拉出来看 是122

https://logview.aliyun.com/logview/?h=http://service.cn.maxcompute.aliyun-inc.com/api&p=report_daily&i=20231129012703937giub0e0hq6k&token=WTlxMUlZdlhNQW5NdTNoUXNoeFVtNVNpb1k0PSxPRFBTX09CTzozMDg1NDM5MSwxNzAzODEzMjI0LHsiU3RhdGVtZW50IjpbeyJBY3Rpb24iOlsib2RwczpSZWFkIl0sIkVmZmVjdCI6IkFsbG93IiwiUmVzb3VyY2UiOlsiYWNzOm9kcHM6Kjpwcm9qZWN0cy9yZXBvcnRfZGFpbHkvaW5zdGFuY2VzLzIwMjMxMTI5MDEyNzAzOTM3Z2l1YjBlMGhxNmsiXX1dLCJWZXJzaW9uIjoiMSJ9![c274f60792b561af94a4bf71054d0f04.png](https://ucc.alicdn.com/pic/developer-ecology/wyvq5mjsckydw_3020a28ca40b44a4a8b6025c1bca40f6.png)



参考答案:

报错显示按照分隔符,来分,只有一列数据。目前ddl里是规定了122列。



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/574925



问题四:大数据计算MaxCompute这是刚才运行的,这期间没有什么任务?

大数据计算MaxCompute这是刚才运行的,这期间没有什么任务?Log view:http://logview.odps.aliyun.com/logview/?h=http://service.cn.maxcompute.aliyun-inc.com/api&p=paiwo_smart&i=20231128085220862gel75l071wk5&token=YVNBOW4xNUU1NFZldHh6b1MyalJnWFk2aE1vPSxPRFBTX09CTzpwNF8yNTUxMDA4MzA0NjI1NTE5OTcsMTcwMzc1MzU0MSx7IlN0YXRlbWVudCI6W3siQWN0aW9uIjpbIm9kcHM6UmVhZCJdLCJFZmZlY3QiOiJBbGxvdyIsIlJlc291cmNlIjpbImFjczpvZHBzOio6cHJvamVjdHMvcGFpd29fc21hcnQvaW5zdGFuY2VzLzIwMjMxMTI4MDg1MjIwODYyZ2VsNzVsMDcxd2s1Il19XSwiVmVyc2lvbiI6IjEifQ==



参考答案:

这个SQL取消掉吧,数据膨胀了,目前还在持续膨胀。对应这个阶段

需要检查下

https://help.aliyun.com/zh/maxcompute/use-cases/diagnostic-cases-of-logview?spm=a2c4g.11186623.0.i21#section-1zn-y7c-7qv

看log view一直打印膨胀的阶段是StreamLineWrite52,可以看下这个阶段逻辑,按照文档排查一下



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/574924



问题五:请问下,大数据计算MaxCompute内部表的数据是存储再OSS上的吗?

请问下,

1、大数据计算MaxCompute内部表的数据是存储再OSS上的吗?这些OSS是你们托管的,用户是无法直接访问的?

2、我如果要把表的所有数据copy到另一个区域有什么快速的办法吗?能通过直接copy 文件就可以了吗?我们有几十个表想直接弄过去另一个region



参考答案:

  1. maxcompute内部表的数据是存储MaxCompute底层存储里的,用户侧除了查表做处理,没办法直接访问到底层存储目录;
  2. 把表的所有数据copy到另一个区域,是指跨region进行MaxCompute数据直接的迁移吗?如果是mc->mc可以通过mma
    有俩方式,可以评估下用哪个
  3. 直接使用insert overwrite语法写入(当前操作账号需要有A、B两个region下数据的权限,不需要搭建迁移环境)
  4. 用mma进行跨region迁移(任务中配置操作账号需要有A、B两个region下数据的权限,需要搭建一个简单的迁移环境,需要走申请打开底层的copy task开关)
    文档可以参考下这里:https://help.aliyun.com/zh/maxcompute/user-guide/maxcompute-data-migration?spm=a2c4g.11186623.0.0.358b27d7UcQVAB



关于本问题的更多回答可点击进行查看:

https://developer.aliyun.com/ask/574923

相关实践学习
基于MaxCompute的热门话题分析
Apsara Clouder大数据专项技能认证配套课程:基于MaxCompute的热门话题分析
相关文章
|
8月前
|
人工智能 分布式计算 DataWorks
大数据AI产品月刊-2025年7月
大数据& AI 产品技术月刊【2025年7月】,涵盖7月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
8月前
|
存储 监控 调度
阿里云对象存储OSS之间进行数据转移教程
讲解如何在阿里云对象存储OSS之间进行跨账号、跨地域、以及同地域内的数据迁移,包括数据迁移之前的准备工作和实施数据迁移以及一些后续操作
|
7月前
|
人工智能 分布式计算 DataWorks
阿里云大数据AI产品月刊-2025年8月
阿里云大数据& AI 产品技术月刊【2025年 8 月】,涵盖 8 月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
522 2
|
10月前
|
人工智能 分布式计算 DataWorks
大数据& AI 产品月刊【2025年5月】
大数据& AI 产品技术月刊【2025年5月】,涵盖5月技术速递、产品和功能发布、市场和客户应用实践等内容,帮助您快速了解阿里云大数据& AI 方面最新动态。
|
9月前
|
存储 搜索推荐 算法
Java 大视界 -- Java 大数据在智能金融理财产品风险评估与个性化配置中的应用(195)
本文深入探讨了Java大数据技术在智能金融理财产品风险评估与个性化配置中的关键应用。通过高效的数据采集、存储与分析,Java大数据技术助力金融机构实现精准风险评估与个性化推荐,提升投资收益并降低风险。
Java 大视界 -- Java 大数据在智能金融理财产品风险评估与个性化配置中的应用(195)
|
8月前
|
存储 安全 数据管理
服务器违规资源被删,数据定时备份OSS 云存储才是 “救命稻草”
在数字化时代,数据已成为企业与个人的核心资产。然而,服务器违规、硬件故障等问题频发,导致数据丢失、业务中断,甚至造成不可挽回的损失。为保障数据安全与业务连续性,定时备份至关重要。阿里云国际站OSS提供高效、可靠的云存储解决方案,支持自动定时备份,帮助用户轻松应对数据风险。本文详解OSS备份操作步骤与注意事项,助你为数据穿上“防护甲”,实现安全无忧存储。
|
10月前
|
存储 缓存 分布式计算
OSS大数据分析集成:MaxCompute直读OSS外部表优化查询性能(减少数据迁移的ETL成本)
MaxCompute直读OSS外部表优化方案,解决传统ETL架构中数据同步延迟高、传输成本大、维护复杂等问题。通过存储格式优化(ORC/Parquet)、分区剪枝、谓词下推与元数据缓存等技术,显著提升查询性能并降低成本。结合冷热数据分层与并发控制策略,实现高效数据分析。
267 2
|
6月前
|
存储 人工智能 Cloud Native
阿里云渠道商:OSS与传统存储系统的差异在哪里?
本文对比传统存储与云原生对象存储OSS的架构差异,涵盖性能、成本、扩展性等方面。OSS凭借高持久性、弹性扩容及与云服务深度集成,成为大数据与AI时代的优选方案。

热门文章

最新文章

相关产品

  • 云原生大数据计算服务 MaxCompute