通过dataworks导出lindorm数据为parquet格式, 放到oss, 这个任务一直速度很慢(200多kb/s), 是什么原因, 主要要调整什么参数? dataworks 已经16c32gB了?
可能的原因和调整参数如下:
网络带宽限制:检查网络带宽是否足够,如果不足,可以考虑升级网络带宽或者使用更高速的网络传输方式。
并发数设置:DataWorks中可以设置并发数,增加并发数可以提高导出速度。可以尝试增加并发数来提高速度。
数据量过大:如果数据量过大,可能会导致导出速度变慢。可以尝试分批次导出数据,或者将数据进行压缩后再导出。
系统资源利用率:检查DataWorks的资源利用率是否达到瓶颈,如CPU、内存等。如果资源利用率过高,可以考虑增加资源或者优化任务配置。
其他因素:还有一些其他因素可能会影响导出速度,如磁盘IO、操作系统等。可以根据实际情况进行调整和优化。
可以参考看下这块的提速建议 https://developer.aliyun.com/article/979768?spm=a2c6h.13262185.profile.22.75fc6deau9ibrT,此回答整理自钉群“DataWorks交流群(答疑@机器人)”
根据你提供的信息,你正在使用DataWorks将Lindorm数据导出为Parquet格式,并将数据上传到OSS,但是发现任务速度很慢,只有200多KB/s。以下是一些可能的原因:
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。