AI 助理
备案控制台
开发者社区 云计算 文章 正文

基于VisualGLM-6B大模型的本地部署与推理

2024-12-12 102
版权
版权声明：
本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《 阿里云开发者社区用户服务协议》和 《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写 侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
简介： 本文是基于清华开源的VisualGLM-6B 支持图像中英文的多模态对话语言模型，进行了一系列本地的简单部署，包括环境配置、模型部署、演示推理、模型微调（官方提供的代码），由于个人电脑显存不足，最后是在阿里云服务器交互式平台DSW终端进行微调和训练操作的。

VisualGLM-6B 依靠来自于 CogView 数据集的30M高质量中文图文对，与300M经过筛选的英文图文对进行预训练，中英文权重相同。该训练方式较好地将视觉信息对齐到ChatGLM的语义空间；之后的微调阶段，模型在长视觉问答数据上训练，以生成符合人类偏好的答案

0.jpg

由于采用轻量化部署推理，显存只占用7.8GB,可进行本地推理。
1.png

visualGLM-6B大语言模型的web界面推理演示：图像分析、按指令输出结果
2.jpg

香港理工大学wangrongsheng同学基于VisualGLM-6B,利用公开数据集微调训练出的XrayGLM,可实现对X光片进行解析和患者建议，本人只是进行的本地推理演示。
3.jpg

GLM_ONE
目录
相关文章
阿里云大数据Al技术
|
9月前
|
人工智能 算法 开发工具
Mixtral 8X7B MoE模型在阿里云PAI平台的微调部署实践
Mixtral 8x7B 是Mixtral AI最新发布的大语言模型，是当前最为先进的开源大语言模型之一。阿里云人工智能平台PAI，提供了对于 Mixtral 8x7B 模型的全面支持，开发者和企业用户可以基于 PAI-快速开始轻松完成Mixtral 8x7B 模型的微调和部署。
阿里云大数据Al技术
134614 6
魔搭ModelScope社区小助手
|
30天前
|
缓存 异构计算
DashInfer-VLM，多模态SOTA推理性能，超vLLM！
DashInfer-VLM是一个针对于视觉多模态大模型VLM的推理架构，特别优化了Qwen VL模型的推理加速，DashInfer-VLM和其他的VLM的推理加速框架最大的区别是， 它把VIT部分和LLM部分进行了分离，并且VIT和LLM的运行是并行运行，不互相干扰。
魔搭ModelScope社区小助手
362 16
技术小达人
|
22天前
|
并行计算 API 调度
加速大语言模型推理：NVIDIATensorRT-LLM更新
本次分享由NVIDIA亚太区资深总监李曦鹏主讲，聚焦于加速大语言模型推理的挑战与解决方案。内容涵盖大模型推理优化、性能提升策略及KVCash在用户请求处理中的应用。通过TensorRT-LLM的更新，NVIDIA提供了高性能推理引擎和多种优化技术，如KVCache优化、InflightBatching等，大幅提升了大模型的推理效率。此外，还介绍了与魔搭社区的合作，支持超过50个主流模型的一键部署，显著降低了使用门槛和成本。
技术小达人
65 1
游客5wgpwz4lyt4j6
|
3月前
|
机器学习/深度学习 人工智能 算法
从 OpenAI-o1 看大模型的复杂推理能力
深入解析OpenAI o1模型的复杂推理技术与发展历程
游客5wgpwz4lyt4j6
191 1
从 OpenAI-o1 看大模型的复杂推理能力
叫做饺子
|
2月前
|
自然语言处理 并行计算 API
Qwen模型应用：微调与部署实践
Qwen模型应用：微调与部署实践
叫做饺子
561 0
阿里云云原生
|
9月前
|
机器学习/深度学习 人工智能 Cloud Native
大语言模型推理提速，TensorRT-LLM 高性能推理实践
大型语言模型（Large language models,LLM）是基于大量数据进行预训练的超大型深度学习模型，本文主要讲述TensorRT-LLM利用量化、In-Flight Batching、Attention、Graph Rewriting提升 LLM 模型推理效率。
阿里云云原生
101872 2
ModelScope运营小助手
|
9月前
|
物联网 Shell Swift
NPU推理&微调大模型实战
本文为魔搭社区轻量级训练推理工具SWIFT微调实战教程系列
ModelScope运营小助手
2264 5
ModelScope内容运营小助手
|
5月前
|
文字识别 自然语言处理 数据可视化
Qwen2.5 全链路模型体验、下载、推理、微调、部署实战！
在 Qwen2 发布后的过去三个月里，许多开发者基于 Qwen2 语言模型构建了新的模型，并提供了宝贵的反馈。在这段时间里，通义千问团队专注于创建更智能、更博学的语言模型。今天，Qwen 家族的最新成员：Qwen2.5系列正式开源
ModelScope内容运营小助手
3185 5
Qwen2.5 全链路模型体验、下载、推理、微调、部署实战！
bruce_xiaowei
|
3月前
|
存储 弹性计算 自然语言处理
基础大模型 vs 应用大模型
基础大模型（如GPT-3、BERT等）通过大量通用数据训练，具备强大的泛化能力。应用大模型则在此基础上进行微调，针对特定任务优化。两者均将知识编码在参数中，而非直接存储原始数据，实现“自然留存”。阿里云提供多种大模型和服务，欢迎体验。
bruce_xiaowei
67 0
LDG_AGI
|
6月前
|
机器学习/深度学习 人工智能 关系型数据库
【机器学习】Qwen2大模型原理、训练及推理部署实战
【机器学习】Qwen2大模型原理、训练及推理部署实战
LDG_AGI
918 0
【机器学习】Qwen2大模型原理、训练及推理部署实战

热门文章

最新文章

  • 1
    LoRa协议学习总结
  • 2
    分享几个国外模板网站(网页素材的下载)
  • 3
    Kbase #5: Aliyun Linux 2 经典网络实例无法执行 YUM 命令
  • 4
    SQL Server 一些使用小技巧
  • 5
    专家称GIS技术拥抱大数据已成热潮
  • 6
    nginx之yum源
  • 7
    模拟通信与数字信号区别
  • 8
    AscII码
  • 9
    如何搭建 LNMP环境
  • 10
    《C++语言基础》实践参考——三角形类1
  • 1
    OpenDeepResearcher：开源 AI 研究工具，自动完成搜索、评估、提取和生成报告
    65
  • 2
    OCRmyPDF：16.5K Star！快速将 PDF 文件转换为可搜索、可复制的文档的命令行工具
    62
  • 3
    MySQL主从复制 —— 作用、原理、数据一致性，异步复制、半同步复制、组复制
    30
  • 4
    二叉树
    87
  • 5
    《生成对抗网络：网络安全态势感知可视化的新引擎》
    39
  • 6
    《攻克GANs训练难题：破解模式坍塌迷局》
    32
  • 7
    《GANs：开启AI辅助设计创意草图的魔法之门》
    34
  • 8
    Centos7.9版本安装collectd并开启写入rrd文件功能
    28
  • 9
    《解锁GANs黑科技：打造影视游戏的逼真3D模型》
    33
  • 10
    《AI “造脸术”：生成对抗网络打造超真实虚拟人脸》
    27

    • 相关课程

    更多
  • 云原生AI套件：一键训练大模型及部署GPU共享推理服务
  • 个性化语音合成模型微调
  • 云原生AI套件：五分钟微调宝可梦风格StableDiffusion
  • 使用ASK容器化部署大语言模型FastChat
  • 创空间应用训练个性化模型
  • 基于ASK轻松部署企业级Stable Diffusion

    • 相关电子书

    更多
  • 基于视觉推理的视频理解
  • 《DeepRec：大规模稀疏模型训练引擎》
  • AI模型训练解决方案V1.4

    • 相关实验场景

    更多
  • 如何快速训练大模型
  • 使用PAI+LLaMA Factory微调Qwen2-VL模型，搭建文旅领域知识问答机器人
  • AI克隆声音，基于函数计算部署GPT-Sovits语音生成模型
  • 函数计算一键部署AI大语言模型并会话
  • 【文生图】一键部署Stable Diffusion基于函数计算
  • 在云上部署ChatGLM2-6B大模型（GPU版）
    • 下一篇
    DeepSeek-V2.5-1210 在线开放使用！支持联网搜索，在各大领域的表现得到全面提升