Serverless 应用引擎产品使用合集之在NAS中下载torch和diffusers依赖包,如何加载

简介: 阿里云Serverless 应用引擎(SAE)提供了完整的微服务应用生命周期管理能力,包括应用部署、服务治理、开发运维、资源管理等功能,并通过扩展功能支持多环境管理、API Gateway、事件驱动等高级应用场景,帮助企业快速构建、部署、运维和扩展微服务架构,实现Serverless化的应用部署与运维模式。以下是对SAE产品使用合集的概述,包括应用管理、服务治理、开发运维、资源管理等方面。

问题一:在函数计算中,觉启动也不是想象中的那么慢,你们是用的什么解决方案呢


部署比如绘画的ai模型是什么流程,我想弄成一个flask的api,是通过镜像的方式部署,然后模型下载到nas上吗,启动是不是非常慢,模型8个g。但是我之前用你们那个模板部署了个stable diffusion,感觉启动也不是想象中的那么慢,你们是用的什么解决方案呢


参考回答:

函数计算的启动速度主要受到冷启动的影响。冷启动是指函数第一次被调用时,平台部署函数实例的过程。这个过程可能涉及到初始化资源或加载依赖库,因此可能会消耗一定的时间。然而,函数计算已经采取了一些措施来优化这个过程,例如预取功能,它可以提前预热您的函数并缓存函数执行环境,从而大大减少冷启动响应时间。

对于大模型的部署,函数计算正式发布了容器镜像加速功能,通过按需读取和更高效的解压技术在不同场景下加速 50%-80%,即使 GB 级别的镜像也可以在几秒内完成端到端启动。这种加速功能结合函数计算极致弹性和事件触发的特点,解锁了更多对实时要求高的工作负载。

对于您提到的绘画AI模型,您可以将其部署为一个Flask API。首先,您可以将模型打包成一个容器镜像,然后将这个镜像部署到函数计算平台上。在部署过程中,您可以选择将模型下载到NAS上,以便在本地环境中运行它。虽然模型大小为8GB,但由于函数计算的容器镜像加速功能,启动过程应该不会太慢。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/574092



问题二:在函数计算中,通过命令行下载依赖包·,函数中应该怎么加载呢?


torch和diffusers依赖可以下载到nas中,然后我函数计算中加载这个包,有办法或者类似webide通过命令行下载依赖包,函数中应该怎么加载呢?有相关教程吗?比用容器镜像服务来创建,冷启动时间上有优势吗?没有的话我感觉还是镜像来的快


参考回答:

在函数计算中,您可以通过多种方式来加载和使用依赖。首先,函数计算运行环境中已经内置了一些常用的依赖,可以直接在您的代码中引用。此外,函数计算也支持使用第三方依赖。

如果您的依赖库比较大,您可以将部分依赖库预先上传到对象存储服务(OSS),然后在函数被触发执行时开始从OSS上加载这些依赖。这种方式的优势在于,依赖的加载操作可以定义应用层冷启动,当所有依赖加载结束后,应用层冷启动才结束。

对于需要安装的依赖少且小的情况,您可以在函数根目录下使用命令pip install -t . xxx,意为将依赖安装到项目根目录。然而,需要注意的是,如果函数加依赖的大小超过了函数计算的内存限制(最大是100M),这种方法可能就不适用了。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/574091



问题三:在函数计算中,官方能出一个这个层吗


如果函数冷启动的话,我在当前目录下安装diffusers上传代码,和使用层会有速度的差异吗?好像官方没diffusers这个层哈,而且不能自己构建因为超过500m了,官方能出一个这个层吗


参考回答:

阿里云函数计算提供了很多公共层,包括一些常用的Python库如numpy、pandas等。但是,diffusers库并不在官方的公共层列表中。

对于您的问题,如果函数冷启动的话,使用当前目录下安装的diffusers库和官方提供的层在速度上可能会有一些差异。因为官方提供的层是预先安装在函数运行时环境中的,所以在函数被触发执行时,这些层的内容已经被加载到内存中,可以直接使用。而如果您在自己的代码中使用了自定义的层,那么在函数被触发执行时,需要先从存储服务(如OSS)上下载并加载这些层的代码和依赖库,这个过程可能会消耗一些时间。

此外,由于diffusers库的大小超过了500M,所以您无法将其上传到对象存储服务(OSS)中作为自定义层。因此,如果您需要在函数中使用diffusers库,可能需要寻找其他的解决方案。例如,您可以考虑将diffusers库拆分成多个较小的部分,并将这些部分分别上传到OSS中作为自定义层。然后,在您的代码中,您可以根据需要动态地加载和使用这些层。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/574090



问题四:在函数计算中,python云函数 使用flask的时候,怎么获取cookie


python云函数 使用flask的时候,怎么获取cookie?传入的environ里没有

就是demo的代码简单改了下,这里print的environ拿不到cookie


参考回答:

在Python云函数中使用Flask时,可以通过request对象来获取cookie。首先需要从flask模块中导入request对象,然后在处理请求的路由函数中通过request.cookies来访问cookie。示例如下:

from flask import Flask, request
app = Flask(__name__)
@app.route('/')
def index():
    cookie_value = request.cookies.get('cookie_name')
    return f'Cookie value: {cookie_value}'
if __name__ == '__main__':
    app.run()

在这个示例中,我们创建了一个简单的Flask应用,定义了一个路由/,当访问这个路由时,会获取名为cookie_name的cookie值,并将其作为响应返回。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/574089



问题五:在函数计算中,我通过控制台添加一个官方的层也是这样,是需要设置什么吗


我在webide中安装了torch到当前目录,然后部署代码,我调用接口有错误。我通过控制台添加一个官方的层也是这样,是需要设置什么吗


参考回答:

阿里云函数计算提供了常用的公共层,包括很多常见的库如torch等。在添加官方公共层后,无需自定义层即可为您的函数配置层功能。一个函数最多支持配置5个层,包括自定义层和官方公共层。当函数配置多个层时,这些层的内容将被合并至 /opt 目录,多个层按照层配置的逆序合并。如果多个层中有同名文件,先配置的层会覆盖后配置的层中的同名文件。

关于你遇到的问题,调用接口有错误,可能的原因有很多。一种可能是你没有正确地将torch库添加到你的函数中。你需要确保你已经正确地将torch库添加到了你的函数运行时环境中。此外,你可能还需要检查你的代码是否正确地使用了torch库。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/574088



问题六:在函数计算中,对于异步任务超出这个时间了怎么办


你好,我想咨询一下,对于异步任务超出这个时间了

实例会销毁,异步任务会异常终止,解决方案只有在请求处理中等待异步代码执行完成再返回吗?是单次请求有个比较耗时的协程在处理, 有什么比较好的解决方案吗? 是否可以设置每次实例启动的最小时间


参考回答:

在函数计算中,对于异步任务,如果超过设定的最大执行时间,实例会被销毁,异步任务也会异常终止。这是因为函数计算的设计目标是高可用性和低延迟,如果一个实例在执行异步任务时超过最大执行时间,那么这个实例就会被认为是不健康的,需要被销毁,以防止影响其他请求的执行。

对于你的问题,确实,如果在请求处理中有一个比较耗时的协程在处理,那么你可能需要在请求处理中等待这个协程执行完成再返回。这是目前函数计算提供的唯一解决方案。

然而,你也可以考虑其他的解决方案,比如:

  1. 优化你的代码:如果你的代码在执行过程中耗时较长,那么你可能需要优化你的代码,提高代码的执行效率。
  2. 使用定时任务:如果你的任务不是实时的,而是定期执行的,那么你可以考虑使用定时任务来执行你的代码,而不是在每次请求中都执行你的代码。
  3. 使用消息队列:如果你的任务需要等待其他任务完成后才能执行,那么你可以考虑使用消息队列来实现。你可以将需要等待的任务放入消息队列中,然后在每次请求中检查消息队列,如果有需要执行的任务,那么就执行这个任务。


关于本问题的更多回答可点击原文查看:

https://developer.aliyun.com/ask/574087

相关实践学习
Docker镜像管理快速入门
本教程将介绍如何使用Docker构建镜像,并通过阿里云镜像服务分发到ECS服务器,运行该镜像。
深入解析Docker容器化技术
Docker是一个开源的应用容器引擎,让开发者可以打包他们的应用以及依赖包到一个可移植的容器中,然后发布到任何流行的Linux机器上,也可以实现虚拟化,容器是完全使用沙箱机制,相互之间不会有任何接口。Docker是世界领先的软件容器平台。开发人员利用Docker可以消除协作编码时“在我的机器上可正常工作”的问题。运维人员利用Docker可以在隔离容器中并行运行和管理应用,获得更好的计算密度。企业利用Docker可以构建敏捷的软件交付管道,以更快的速度、更高的安全性和可靠的信誉为Linux和Windows Server应用发布新功能。 在本套课程中,我们将全面的讲解Docker技术栈,从环境安装到容器、镜像操作以及生产环境如何部署开发的微服务应用。本课程由黑马程序员提供。     相关的阿里云产品:容器服务 ACK 容器服务 Kubernetes 版(简称 ACK)提供高性能可伸缩的容器应用管理能力,支持企业级容器化应用的全生命周期管理。整合阿里云虚拟化、存储、网络和安全能力,打造云端最佳容器化应用运行环境。 了解产品详情: https://www.aliyun.com/product/kubernetes
相关文章
|
9月前
|
人工智能 运维 Kubernetes
Serverless 应用引擎 SAE:为传统应用托底,为 AI 创新加速
在容器技术持续演进与 AI 全面爆发的当下,企业既要稳健托管传统业务,又要高效落地 AI 创新,如何在复杂的基础设施与频繁的版本变化中保持敏捷、稳定与低成本,成了所有技术团队的共同挑战。阿里云 Serverless 应用引擎(SAE)正是为应对这一时代挑战而生的破局者,SAE 以“免运维、强稳定、极致降本”为核心,通过一站式的应用级托管能力,同时支撑传统应用与 AI 应用,让企业把更多精力投入到业务创新。
849 30
|
10月前
|
存储 人工智能 Serverless
函数计算进化之路:AI 应用运行时的状态剖析
AI应用正从“请求-响应”迈向“对话式智能体”,推动Serverless架构向“会话原生”演进。阿里云函数计算引领云上 AI 应用 Serverless 运行时技术创新,实现性能、隔离与成本平衡,开启Serverless AI新范式。
906 12
|
SQL 分布式计算 Serverless
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
鹰角网络为应对游戏业务高频活动带来的数据潮汐、资源弹性及稳定性需求,采用阿里云 EMR Serverless Spark 替代原有架构。迁移后实现研发效率提升,支持业务快速发展、计算效率提升,增强SLA保障,稳定性提升,降低运维成本,并支撑全球化数据架构部署。
1462 56
鹰角网络:EMR Serverless Spark 在《明日方舟》游戏业务的应用
|
人工智能 开发框架 安全
Serverless MCP 运行时业界首发,函数计算让 AI 应用最后一公里提速
作为云上托管 MCP 服务的最佳运行时,函数计算 FC 为阿里云百炼 MCP 提供弹性调用能力,用户只需提交 npx 命令即可“零改造”将开源 MCP Server 部署到云上,函数计算 FC 会准备好计算资源,并以弹性、可靠的方式运行 MCP 服务,按实际调用时长和次数计费,欢迎你在阿里云百炼和函数计算 FC 上体验 MCP 服务。
1112 31
|
存储 编解码 Serverless
Serverless架构下的OSS应用:函数计算FC自动处理图片/视频转码(演示水印添加+缩略图生成流水线)
本文介绍基于阿里云函数计算(FC)和对象存储(OSS)构建Serverless媒体处理流水线,解决传统方案资源利用率低、运维复杂、成本高等问题。通过事件驱动机制实现图片水印添加、多规格缩略图生成及视频转码优化,支持毫秒级弹性伸缩与精确计费,提升处理效率并降低成本,适用于高并发媒体处理场景。
1625 0
|
10月前
|
人工智能 运维 安全
聚焦 AI 应用基础设施,云栖大会 Serverless AI 全回顾
2025 年 9 月 26 日,为期三天的云栖大会在杭州云栖小镇圆满闭幕。随着大模型技术的飞速发展,我们正从云原生时代迈向一个全新的 AI 原生应用时代。为了解决企业在 AI 应用落地中面临的高成本、高复杂度和高风险等核心挑战,阿里云基于函数计算 FC 发布一系列重磅服务。本文将对云栖大会期间 Serverless+AI 基础设施相关内容进行全面总结。
|
人工智能 运维 物联网
云大使 X 函数计算 FC 专属活动上线!享返佣,一键打造 AI 应用
如今,AI 技术已经成为推动业务创新和增长的重要力量。但对于许多企业和开发者来说,如何高效、便捷地部署和管理 AI 应用仍然是一个挑战。阿里云函数计算 FC 以其免运维的特点,大大降低了 AI 应用部署的复杂性。用户无需担心底层资源的管理和运维问题,可以专注于应用的创新和开发,并且用户可以通过一键部署功能,迅速将 AI 大模型部署到云端,实现快速上线和迭代。函数计算目前推出了多种规格的云资源优惠套餐,用户可以根据实际需求灵活选择。
|
10月前
|
人工智能 Kubernetes 安全
重塑云上 AI 应用“运行时”,函数计算进化之路
回顾历史,电网的修建,深刻地改变了世界的经济地理和创新格局。今天,一个 AI 原生的云端运行时的进化,其意义也远不止于技术本身。这是一次设计哲学的升华:从“让应用适应平台”到“让平台主动理解和适应智能应用”的转变。当一个强大、易用、经济且安全的 AI 运行时成为像水电一样的基础设施时,它将极大地降低创新的门槛。一个独立的开发者、一个小型创业团队,将有能力去创造和部署世界级的 AI 应用。这才是技术平权的真谛,是激发全社会创新潜能的关键。
|
存储 消息中间件 人工智能
ApsaraMQ Serverless 能力再升级,事件驱动架构赋能 AI 应用
本文整理自2024年云栖大会阿里云智能集团高级技术专家金吉祥的演讲《ApsaraMQ Serverless 能力再升级,事件驱动架构赋能 AI 应用》。
768 128
|
Cloud Native Serverless 流计算
云原生时代的应用架构演进:从微服务到 Serverless 的阿里云实践
云原生技术正重塑企业数字化转型路径。阿里云作为亚太领先云服务商,提供完整云原生产品矩阵:容器服务ACK优化启动速度与镜像分发效率;MSE微服务引擎保障高可用性;ASM服务网格降低资源消耗;函数计算FC突破冷启动瓶颈;SAE重新定义PaaS边界;PolarDB数据库实现存储计算分离;DataWorks简化数据湖构建;Flink实时计算助力风控系统。这些技术已在多行业落地,推动效率提升与商业模式创新,助力企业在数字化浪潮中占据先机。
790 12

相关产品

  • 函数计算
  • Serverless 应用引擎