开发者社区 > 大数据与机器学习 > 大数据开发治理DataWorks > 正文

DataWorks中oss数据源脚本中设置了maxFileSize为11MB,但最后还是按照10M?

DataWorks中oss数据源脚本中设置了maxFileSize为11MB,但最后还是按照10M去切分?image.png
不对吧,上面说最大可配置10,000*10MB,是不是只能配置10的整数倍才行

展开
收起
真的很搞笑 2023-08-07 20:27:00 63 0
2 条回答
写回答
取消 提交回答
  • 北京阿里云ACE会长

    这可能是由以下原因导致的:

    DataWorks OSS Reader/Writer 的maxFileSize限制是10MB。
    DataWorks本身对OSS数据源设置的maxFileSize限制是10MB。即使在OSS数据源的配置中设置了11MB,但在实际使用OSS Reader 或Writer时,仍然会使用10MB。

    OSS存储桶本身对单文件大小有限制。
    阿里云OSS存储桶单文件默认最大只能到5GB。如果您上传的文件超过了这个限制,OSS存储桶可能会自动分块。

    推荐的解决方法是:

    对OSS存储桶和DataWorks OSS数据源,都设置相同的maxFileSize。

    不要超过OSS存储桶对单个文件的限制(5GB)。尽量保持在10MB以下。

    如果确实需要上传超过10MB的文件,可以考虑分块上传。

    您也可以提交工单,要求DataWorks扩大OSS Reader/Writer的maxFileSize限制。不过不建议超过OSS单文件大小限制。

    2023-08-09 18:25:10
    赞同 展开评论 打赏
  • key=value,Q:Exception: please check args format: key=value
    image.png

    A:一般报上面的问题是因为您的参数里有空格:40day =201902 day=20190301,在参数名和等号之间有一个空格。这个方便提供下截图 以及detail log链接吗image.png
    配置参考这个哈 默认是10m 看截图最大也是10m https://help.aliyun.com/zh/dataworks/user-guide/oss-data-source?spm=a2c4g.11186623.0.0.633a48da8R1CUQ#task-2311246
    辛苦发一下detail log链接,此回答整理自钉群“DataWorks交流群(答疑@机器人)”

    2023-08-08 21:49:16
    赞同 展开评论 打赏

DataWorks基于MaxCompute/Hologres/EMR/CDP等大数据引擎,为数据仓库/数据湖/湖仓一体等解决方案提供统一的全链路大数据开发治理平台。

相关产品

  • 大数据开发治理平台 DataWorks
  • 热门讨论

    热门文章

    相关电子书

    更多
    DataWorks数据集成实时同步最佳实践(含内测邀请)-2020飞天大数据平台实战应用第一季 立即下载
    DataWorks商业化资源组省钱秘籍-2020飞天大数据平台实战应用第一季 立即下载
    基于DataWorks数据服务构建疫情大屏-2020飞天大数据平台实战应用第一季 立即下载