最佳实践 | 轻松部署,即刻触达 Qwen2.5 的飞一般的体验

本文涉及的产品
函数计算FC,每月15万CU 3个月
简介: 通过阿里云函数计算(FC)部署Ollama和Open WebUI,实现Qwen2.5模型的托管与交互。

一、方案概述

通过函数计算 FC 部署Ollama和Open WebUI两个应用。Ollama负责托管Qwen2.5模型,方案提供的镜像预置了1.5B、3B、7B三种不同参数规模供用户选择,Open WebUI则为用户提供友好的交互界面。架构如下:
image.png

二、基于 Ollama 部署 Qwen2.5 模型

Ollama 是一个便捷的模型部署和管理工具,帮助开发者高效托管和服务化模型,便于快速集成 AI 能力。

1、点击Ollama模板链接,访问创建Ollama应用页面。
image.png

2、Qwen2.5模型1.5B、3B和7B三种不同参数规模的版本,可以在模型名称下拉列表中按需选择。
image.png

3、应用部署成功后如下图所示。
image.png

三、Open WebUI 调用 Qwen2.5 模型

Open WebUI 是一个开源项目,提供了管理和操作模型的图形界面。

1、点击Open WebUI模板链接,访问创建Open WebUI应用页面。
image.png

2、配置如下:

在函数计算中找到ollama内网访问地址。
image.png

image.png

3、点击创建并部署默认环境按钮部署应用,应用部署成功后如下图所示。
image.png

4、Open WebUI应用部署完毕后,点击访问域名。

四、应用体验

1、登录Open WebUI后,点击Select a model,在展开的下拉列表中选择Qwen2.5模型。如果在下拉列表中未显示可用的模型,请尝试刷新页面以更新列表。
image.png

2、可以在对话框中与系统进行交互,调用模型服务获得相应的响应。
image.png

3、Qwen2.5 模型具备支持超过多种语言的能力,例如能够用日语进行自我介绍。
image.png

4、还可以做数学题。
image.png

5、支持上传文档提炼文档的内容。
image.png

6、同时可以支持设置为简体中文。
image.png

五、清理资源

若长期不再使用,则需要删除两个应用函数
image.png

六、总结

通过阿里云函数计算(FC)部署Ollama和Open WebUI,实现Qwen2.5模型的托管与交互。Ollama提供1.5B、3B、7B三种参数规模的Qwen2.5模型选择,Open WebUI则为用户提供友好的图形化操作界面。用户可轻松创建、配置并体验Qwen2.5的强大功能,包括多语言支持、数学题解答和文档提炼等,方便在日常工作生活快速构建属于自己的大模型。

相关实践学习
【文生图】一键部署Stable Diffusion基于函数计算
本实验教你如何在函数计算FC上从零开始部署Stable Diffusion来进行AI绘画创作,开启AIGC盲盒。函数计算提供一定的免费额度供用户使用。本实验答疑钉钉群:29290019867
建立 Serverless 思维
本课程包括: Serverless 应用引擎的概念, 为开发者带来的实际价值, 以及让您了解常见的 Serverless 架构模式
相关文章
|
4月前
|
人工智能 数据可视化 API
10 分钟构建 AI 客服并应用到网站、钉钉或微信中测试评
10 分钟构建 AI 客服并应用到网站、钉钉或微信中测试评
126 2
|
2月前
|
人工智能 自然语言处理 算法
【AI问爱答-双十一返场周直播】AI产品专家直播解读重点AI应用场景怎么用?
阿里云【AI问爱答】栏目强势回归,11月25日至28日每晚19:00,连续四天直播,涵盖AI营销、企业办公、社交娱乐及大模型推理调优四大主题,助您深入了解AI应用,解决实际问题。欢迎预约观看!
|
3月前
|
人工智能 自动驾驶 搜索推荐
【通义】AI视界|苹果AI本周正式上线,将引入四大功能
本文由【通义】自动生成,涵盖苹果AI上线、特斯拉被华尔街重新评估、谷歌开发控制计算机的AI、Meta与路透社合作及Waymo获56亿美元融资等科技动态。点击链接或扫描二维码获取更多信息。
|
3月前
|
Serverless 数据安全/隐私保护 前端开发
大模型代码能力体验报告之贪吃蛇小游戏《一》:Claude.ai篇 - 生成、预览和快速部署的serverless一条龙
本文介绍了通过Claude.ai生成并优化Web版贪吃蛇游戏的过程,展示了其强大的代码生成功能及用户友好的界面设计。从初始版本的快速生成到根据用户反馈调整游戏速度,再到提供多种实用工具如文件管理、版本控制和一键部署,Claude.ai不仅是一个代码助手,更像是一个全面的serverless开发平台。文中还呼吁国内厂商关注此类技术的发展。
|
4月前
|
人工智能 机器人 Serverless
《10 分钟构建 AI 客服并应用到网站、钉钉或微信中》解决方案体验评测
一文带你详细了解如何基于百炼平台、函数计算或者计算巢AppFlow10 分钟构建 AI 客服并应用到网站、钉钉或微信中,附全篇图文详解,欢迎阅读评价。
355 9
《10 分钟构建 AI 客服并应用到网站、钉钉或微信中》解决方案体验评测
|
4月前
|
人工智能 自然语言处理 算法
|
5月前
|
机器学习/深度学习 人工智能 API
体验评测报告:《10分钟构建AI客服并应用到网站、钉钉或微信中》
体验评测报告:《10分钟构建AI客服并应用到网站、钉钉或微信中》
103 5
|
5月前
|
人工智能 搜索推荐 UED
通过体验《10 分钟构建 AI 客服并应用到网站、钉钉或微信中》解决方案测评
本次测试涵盖了钉钉和微信上的部署体验。部署流程简单便捷,约10分钟即可完成基础配置,适合技术背景各异的用户。功能上,网站端响应迅速但准确度有待提升;钉钉内集成良好,响应及时但答案丰富度有限;微信端用户友好,回答深度需加强。稳定性方面表现出色,资源占用合理。此外,还支持一定程度的自定义开发以满足不同需求。总的来说,这是一个快速搭建AI客服的有效方案,不过还需针对特定场景做更多优化工作。
86 2
|
自然语言处理 前端开发 Java
您的智能测试助理来了!蚂蚁TestAgent开源,快来体验!
TestAgent 旨在构建测试领域的“智能体”,融合大模型和质量领域工程化技术,促进质量技术代系升级。我们期望和社区成员一起合作,打造创新的测试领域解决方案,构建24小时在线的测试助理服务,让测试如丝般顺滑。 很高兴地宣布,我们在国内首次开源了测试行业大模型及工具——TestAgent。本次版本包含了性能最强的7B测试领域大模型,以及配套的本地模型快速发布和体验工程化框架,欢迎体验和关注!
1493 0
您的智能测试助理来了!蚂蚁TestAgent开源,快来体验!
|
8月前
|
人工智能 JavaScript 开发工具
嘿!AI 编码新玩法上线!
基于阿里云强大的大模型能力和智能算力,灵码能以毫秒级的速度生成测试代码,准确率和覆盖率都令人满意。并兼容 Java、Python、JavaScript、TypeScript、C/C++ 等 30 多种主流编程语言。当前,通义灵码下载量已经突破百万,并且各大 IDE 插件市场均已上线,为方便广大开发者更好地了解通义灵码极佳的编码能力,特别设计通义灵码体验体验活动。
1190 50