开发者社区> 问答> 正文

如何使 transformers 框架中的对象支持 OSS 存储?

如何使 transformers 框架中的对象支持 OSS 存储?

展开
收起
萝卜丝丸子 2024-06-03 20:58:43 33 0
1 条回答
写回答
取消 提交回答
  • 要使 transformers 框架中的对象支持 OSS 存储,可以采用 mixin 或 monkey patching 的方式。具体地,可以定义一个 mixin 类(如 OSSRemoteModelMixin),在其中重写 from_pretrained 和 save_pretrained 方法,以支持 OSS 路径。然后,让自研的模型类继承这个 mixin 类,或者直接覆盖 AutoModel 等类的 from_pretrained 方法。在重写的方法中,需要将 OSS 路径转换为本地临时路径(或直接在 OSS 上操作),然后调用基类方法完成加载或保存操作。

    2024-06-03 22:28:02
    赞同 展开评论 打赏
问答排行榜
最热
最新

相关电子书

更多
OSS运维进阶实战手册 立即下载
《OSS运维基础实战手册》 立即下载
OSS运维基础实战手册 立即下载