真正的0代码,0脚本,0门槛,QwQ-32B一键部署!

简介: 阿里云最新发布的QwQ-32B模型通过强化学习显著提升了推理能力,在多个核心指标上达到DeepSeek-R1满血版水平,超越了DeepSeek-R1-Distill-Qwen-32B。用户可通过阿里云系统运维管理(OOS)的公共扩展功能,一键部署OpenWebUI+Ollama至ECS,轻松运行QwQ-32B模型。该方案支持本地部署和连接阿里云百炼在线模型,无需编写代码,操作简便,适合新手尝试。具体步骤包括:在阿里云控制台安装OpenWebUI扩展、选择ECS实例并创建、等待几分钟后获取URL链接,即可开始使用。此外,还提供了详细的配置指南和高级玩法介绍,帮助用户更好地利用该模型。

阿里云发布的最新模型QwQ-32B,通过强化学习大幅度提升了模型推理能力。模型数学代码等核心指标(AIME 24/25、livecodebench)以及部分通用指标(IFEval、LiveBench等)达到DeepSeek-R1 满血版水平,各指标均显著超过同样基于 Qwen2.5-32B 的 DeepSeek-R1-Distill-Qwen-32B。

阿里云系统运维管理(OOS)的公共扩展功能为您提供了一键部署OpenWebUI+Ollama的便捷方案,让您轻松部署QwQ-32B模型到阿里云ECS。另外,您也可以连接阿里云百炼的QwQ-32B在线模型,本文也将提供详细的解决方案!

整个方案不需要任何的代码和命令执行,全部在控制台完成,所以新手朋友也不用担心哦,大胆地尝试起来吧!


部署OpenWebUI+Ollama

前提条件

  • ecs配置
  • 如果您需要本地部署qwq-32b,建议ecs性能至少达到:CPU 16核以上,内存64GB+,硬盘30GB+,显卡24GB+显存;
  • 如果您选择连接阿里云百炼qwq-32b在线模型,普通ECS即可;
  • 您的ECS操作系统版本为以下之一:
  • Alibaba Cloud Linux (2.1903 LTS、3.2104 LTS)推荐
  • Ubuntu(20.04、22.04、24.04)
  • CentOS(7.7、7.8、7.9)
  • Debian(12.5、12.6)
  • OpenSUSE 15
  • Fedora(38、39、40)
  • Anolis OS(8.8、8.9)
  • AlmaLinux(9.3、9.4、9.5)
  • ECS实例必须处于运行中状态
  • ECS实例必须要有公网
  • 安全组入方向必须开启3000端口


安装步骤

  1. 阿里云系统运维管理控制台[1]中找到OpenWebUI扩展 点击安装扩展程序

image.png

  1. 请选择想要安装到的ECS实例,并点击创建。

image.png

  1. 等待执行几分钟,安装完成后。点击输出->扩展信息。您可以在配置输出里面找到已安装好的OpenWebUI的Url(格式为 http://{ECS的公网ip}:3000)。

image.png

  1. 点击url链接,根据提示创建账号并登录即可。
    image.png
注意:


  • 您需要确认安全组入方向3000端口已经开放,详情见附录1。
  • 第一次登陆会比较慢,请在登陆后按照附录2说明,更改配置。下次登陆就会变快。

在Open WebUI部署QwQ-32B本地大模型

当您登陆进入管理界面,您可以直接在对话界面搜索,想要本地部署的模型。本文以部署QwQ-32B模型为例。点击从ollama官网[2]拉取,等待模型下载部署完成后,就可以直接使用啦!您可以在ollama官网查看可供下载的大模型。

image.png

下载完成后,您可以选择模型并开始对话。

image.png

更多信息可以参考OpenWebUI官方文档[3]。

在Open WebUI连接阿里云百炼在线模型

如果说您的ECS性能无法满足本地运行要求,您也可以配置连接阿里云百炼[4]的在线模型。百炼现在对于新用户还有最长达半年的免费额度,具体信息请参考新人免费额度_大模型服务平台百炼[5]。

点击进入管理员面板:

image.png

添加阿里云百炼的连接:

image.png

模型名称、URL(https://dashscope.aliyuncs.com/compatible-mode/v1)、API KEY等信息,都可以在阿里云百炼的控制台找到。

image.png

保存好后,回到对话页面,您就可以找到刚才配置的模型,并开始对话了。

image.png

image.png

原理解析

什么是OpenWebUI和Ollama

OpenWebUI 是一个开源的用户界面(UI)工具,通常用于与大型语言模型(LLM)进行交互。它提供了一个图形化的前端界面,使得用户可以更方便地与大模型进行对话、测试和调试。

OpenWebUI 支持多种后端模型,允许用户通过简单的配置文件或命令行参数来切换不同的模型。它通常用于研究、开发和演示场景,帮助开发者和研究人员更直观地了解模型的表现。

OpenWebUI 的主要功能特点:

  • 支持多种语言模型(如 LLaMA、ChatGLM、Qwen 等)。
  • 提供了友好的图形化界面,便于用户输入和查看输出。
  • 可以自定义提示词(prompt),并支持多轮对话。
  • 支持模型推理时的参数调整,如温度(temperature)、top-k、top-p 等。

Ollama 是一个专为大语言模型服务设计的开源工具,方便用户在本地快速部署大型模型。通过简单的安装过程,用户可以用一条命令即可启动和操作这些开源的大语言模型。它提供了一个易于使用的命令行界面和服务器,旨在简化构建大语言模型应用的流程。用户可以方便地下载、运行和管理各种开源的大模型。

上述安装过程中,扩展程序内的OpenWebUI已经完成了与Ollama的集成。借助OpenWebUI 提供的图形化用户界面,使得与 Ollama 交互变得更加直观和便捷。就像上面安装时,我们在UI界面搜索并点击下载QWQ-32b模型模型,背后其实就是执行了Ollama的命令,完成模型的下载和部署。这大大简化了操作流程,还提高了开发效率和灵活性。

安装脚本解析

您可以在公共扩展的详情页,找到完整的安装脚本:

image.png

主要是先完成了docker的安装,再拉取open-webui:ollama镜像,启动容器。这个镜像内已配置好open-webui和ollama的集成,维护在aliyun-computenest-opensource-registry这个公开仓库,您可随时拉取使用。

脚本里,docker命令创建了名为 ollamaopen-webui 的卷,用于持久化容器内的数据,并将主机的3000端口映射到容器的8080端口。您可以按需调整脚本,以适应个性化的安装需求。

之前是docker安装
-----------
sudo systemctl start docker
sudo systemctl enable docker

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always aliyun-computenest-opensource-registry.cn-hangzhou.cr.aliyuncs.com/default/open-webui:ollama

sleep 5 # 等待容器初始化
docker ps -f name=openwebui

OpenWebUI高级玩法介绍

除了上面提到的基本的对话功能,openwebui还有很多有意思的功能,我们来看几个比较常用的功能。

模型对比输出

您可以添加多个模型,开启对话后,会以分栏的方式,同时展示不同模型的回答。您可以对比回答,挑选更符合要求的。

image.png

您还可以整合多个回答的问题:

image.png

自定义推理参数

您可以自定义模型的系统提示词、函数调用、温度k等配置,调出最适合自己的模型参数。

image.png

此外,OpenWebUI还有个性化知识库、AI对话游乐场等功能,您可以在官方文档[6]中继续探索!



参考链接:

[1]https://oos.console.aliyun.com/cn-hangzhou/extension

[2]https://ollama.com/search

[3]https://docs.openwebui.com/getting-started/quick-start/starting-with-ollama/

[4]https://www.aliyun.com/product/bailian

[5]https://help.aliyun.com/zh/model-studio/new-free-quota

[6]https://docs.openwebui.com/

相关文章
|
机器学习/深度学习 数据处理 数据安全/隐私保护
DPU:数据中心与计算架构的革新引擎
【2月更文挑战第3天】
2486 1
DPU:数据中心与计算架构的革新引擎
|
人工智能 安全 机器人
OpenClaw(原 Clawdbot)钉钉对接保姆级教程 手把手教你打造自己的 AI 助手
OpenClaw(原Clawdbot)是一款开源本地AI助手,支持钉钉、飞书等多平台接入。本教程手把手指导Linux下部署与钉钉机器人对接,涵盖环境配置、模型选择(如Qwen)、权限设置及调试,助你快速打造私有、安全、高权限的专属AI助理。(239字)
36110 184
|
弹性计算 Ubuntu Linux
一键部署OpenWebUI+Ollama到阿里云ECS,轻松运行DeepSeek!(保姆级教程)
在当今数据驱动的时代,快速部署和管理大模型成为企业的关键需求。阿里云提供了一键部署OpenWebUI+Ollama的便捷方案,支持本地大模型运行和管理。用户也可以选择连接阿里云百炼的在线模型。
一键部署OpenWebUI+Ollama到阿里云ECS,轻松运行DeepSeek!(保姆级教程)
|
12月前
|
容器
vllm+vllm-ascend本地部署QwQ-32B
本指南介绍如何下载、安装和启动基于Ascend的vLLM模型。首先,可通过华为镜像或Hugging Face下载预训练模型;其次,安装vllm-ascend,支持通过基础镜像(如`quay.io/ascend/vllm-ascend:v0.7.3-dev`)或源码编译方式完成;最后,使用OpenAI兼容接口启动模型,例如运行`vllm serve`命令,设置模型路径、并行规模等参数。适用于大模型推理场景,需注意显存需求(如QwQ-32B需70G以上)。
4482 17
|
6月前
|
机器学习/深度学习 缓存 人工智能
45_混合专家模型:MoE架构详解
在大语言模型的发展历程中,参数规模的扩张一直被视为提升性能的主要途径。然而,随着模型参数达到数百亿甚至数千亿级别,传统的密集型模型架构面临着计算资源、训练效率和推理速度等诸多挑战。2025年,混合专家模型(Mixture of Experts,MoE)已成为突破这些限制的关键技术路径。
1134 0
|
6月前
|
文字识别 测试技术 开发者
Qwen3-VL新成员 2B、32B来啦!更适合开发者体质
Qwen3-VL家族重磅推出2B与32B双版本,轻量高效与超强推理兼备,一模型通吃多模态与纯文本任务!
6002 12
|
11月前
|
机器学习/深度学习 人工智能 自然语言处理
通义千问推理模型QwQ-32B开源,更小尺寸、更强性能
阿里云发布并开源全新推理模型通义千问QwQ-32B,通过大规模强化学习,在数学、代码及通用能力上实现质的飞跃,性能比肩DeepSeek-R1。该模型大幅降低部署成本,支持消费级显卡本地部署,并集成智能体Agent相关能力。阿里云采用Apache2.0协议全球开源,用户可通过通义APP免费体验。此外,通义团队已开源200多款模型,覆盖全模态和全尺寸。
1554 20
|
8月前
|
人工智能 缓存 自然语言处理
大模型性能测试完全指南:从原理到实践
本文介绍了大模型性能测试的核心价值与方法,涵盖流式响应机制、PD分离架构、五大关键指标(如首Token延迟、吐字率等),并通过实战演示如何使用Locust进行压力测试。同时探讨了多模态测试的挑战与优化方向,帮助测试工程师成长为AI系统性能的“诊断专家”。
|
JSON 人工智能 数据格式
AI计算机视觉笔记二十六:YOLOV8自训练关键点检测
本文档详细记录了使用YOLOv8训练关键点检测模型的过程。首先通过清华源安装YOLOv8,并验证安装。接着通过示例权重文件与测试图片`bus.jpg`演示预测流程。为准备训练数据,文档介绍了如何使用`labelme`标注工具进行关键点标注,并提供了一个Python脚本`labelme2yolo.py`将标注结果从JSON格式转换为YOLO所需的TXT格式。随后,通过Jupyter Notebook可视化标注结果确保准确性。最后,文档展示了如何组织数据集目录结构,并提供了训练与测试代码示例,包括配置文件`smoke.yaml`及训练脚本`train.py`,帮助读者完成自定义模型的训练与评估。
5455 2

热门文章

最新文章