函数计算,请教一下,目前使用 SD 的自定义模型,冷启动大约要 40 多秒,有加速的可能性吗?
FC按量调用的SD冷启动耗时,当前差不多是这个水平
1.
SD on 本地应用启动耗时:~12s
SD on FC应用启动耗时:~16s(+4s)
2.
SD on 本地模型加载耗时:~18s
SD on FC模型加载耗时:~26s (+8s)
3.
SD on 本地端到端总耗时:~30s
SD on FC端到端总耗时:~42s(+12s)
可以看到,本地拉起一个SD(含SD1.5基础模型加载)就需要耗时~30s,这部分应用侧耗时大头不太好解,都是必要的三方库加载(torch)、以及模型初始化;FC计算环境相比本地,增加了额外的~12s。
如果业务当前接受不了首次冷启动,可以使用FC的预留实例:https://help.aliyun.com/zh/fc/use-cases/real-time-inference-scenarios?spm=a2c4g.11186623.0.0.5ad47541cyVct2
另外,我也想了解下,一般AIGC业务都是准实时,耗时一般都在10s级别,您这边业务能接受的冷启动耗时是个什么样子的水平
此答案来自钉钉群“阿里函数计算官网客户”
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。