问题一:大数据计算MaxCompute怎么设置用户权限?
大数据计算MaxCompute怎么设置用户权限?
参考回答:
如果子账号用户少的话,可以单独给table的select权限,参考文档:https://help.aliyun.com/zh/maxcompute/user-guide/manage-user-permissions-by-using-commands?spm=a2c4g.11186623.0.0.528ee811sYH6S1#1fe48e886cozs
如果子账号用户很多的话,可以单独创建一个role,将表的select权限赋给role,然后将role赋给每个用户;
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/591331
问题二:大数据计算MaxCompute怎么使用sdk获取ODPS上的资源文件?
大数据计算MaxCompute怎么使用sdk获取ODPS上的资源文件?
参考回答:
有resource接口。https://help.aliyun.com/zh/maxcompute/user-guide/sdk-for-java?spm=a2c4g.11186623.0.0.7e3911c1yKqsk6#section-tdn-dvb-wdb ,
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/587312
问题三:大数据计算MaxCompute存储大小在哪里看啊?
大数据计算MaxCompute存储大小在哪里看啊?
参考回答:
DataWorks的数据地图(包含临时文件)
MaxCompute控制台项目管理https://maxcompute.console.aliyun.com/cn-beijing/project-list
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/591571
问题四:大数据计算MaxCompute在编写pyodps的时候,请问应该如何处理?
大数据计算MaxCompute在编写pyodps的时候,请问应该如何处理?
参考回答:
目前DW的节点确实有内存和数据量限制,另外pyodps to_pandas需要拉数据到本地,所以也会对ecs资源有限制。后面我们会上一个MaxFrame,可以先看一下这个介绍
https://help.aliyun.com/zh/maxcompute/user-guide/maxframe-overview-1?spm=a2c4g.11186623.0.i0
MaxFrame可以解决这个问题,直读MC数据,并且可以用MC的资源去跑,估计2月份公共云会上线
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/591344
问题五:大数据计算MaxCompute odps sql任务自己增加小task的数量?
大数据计算MaxCompute odps sql任务自己增加小task的数量?
参考回答:
在大数据计算MaxCompute中,您可以通过调整一些参数来增加ODPS SQL任务中的小task数量。
- 调整并行度:您可以调整SQL任务的并行度来增加小task的数量。并行度是指在执行SQL任务时,系统会将数据分成多个部分并行处理,每个部分对应一个小task。通过增加并行度,您可以增加小task的数量,从而提高任务的执行效率。
- 使用分区表:如果您的表是分区表,那么在执行SQL任务时,每个分区都会生成一个小task。因此,增加分区的数量也可以增加小task的数量。需要注意的是,分区的数量应该根据实际的数据量和查询需求来合理设置,过多的分区可能会导致管理复杂性和性能下降。
- 调整资源配置:在提交SQL任务时,您可以指定任务的资源需求,包括CPU、内存等。增加资源的配置可以使得系统能够同时处理更多的小task。但是,资源配置应该根据集群的实际情况和任务的需求来合理分配,避免资源浪费或不足。
综上所述,通过调整并行度、使用分区表和调整资源配置,您可以在MaxCompute中增加ODPS SQL任务的小task数量。这些方法可以帮助优化任务的执行效率,但需要根据实际情况进行合理的配置和管理。
关于本问题的更多回答可点击原文查看:https://developer.aliyun.com/ask/591343