开发者社区 > 云原生 > Serverless > 正文

函数计算,请教一下,目前使用 SD 的自定义模型,冷启动大约要 40 多秒,有加速的可能性吗?

函数计算,请教一下,目前使用 SD 的自定义模型,冷启动大约要 40 多秒,有加速的可能性吗?

展开
收起
数据大拿 2023-09-05 16:48:16 87 0
1 条回答
写回答
取消 提交回答
  • FC按量调用的SD冷启动耗时,当前差不多是这个水平

    1.
    SD on 本地应用启动耗时:~12s
    SD on FC应用启动耗时:~16s(+4s)

    2.
    SD on 本地模型加载耗时:~18s
    SD on FC模型加载耗时:~26s (+8s)

    3.
    SD on 本地端到端总耗时:~30s
    SD on FC端到端总耗时:~42s(+12s)

    可以看到,本地拉起一个SD(含SD1.5基础模型加载)就需要耗时~30s,这部分应用侧耗时大头不太好解,都是必要的三方库加载(torch)、以及模型初始化;FC计算环境相比本地,增加了额外的~12s。

    如果业务当前接受不了首次冷启动,可以使用FC的预留实例:https://help.aliyun.com/zh/fc/use-cases/real-time-inference-scenarios?spm=a2c4g.11186623.0.0.5ad47541cyVct2

    另外,我也想了解下,一般AIGC业务都是准实时,耗时一般都在10s级别,您这边业务能接受的冷启动耗时是个什么样子的水平

    此答案来自钉钉群“阿里函数计算官网客户”

    2023-09-05 16:50:43
    赞同 展开评论 打赏

快速交付实现商业价值。

相关产品

  • 函数计算
  • 热门讨论

    热门文章

    相关电子书

    更多
    Hologres Serverless之路:揭秘弹性计算组 立即下载
    Serverless开发平台: 让研发效能再提升 立即下载
    Serverless 引领云上研发新范式 立即下载