初次体验魔搭,问题一堆堆

本文涉及的产品
模型训练 PAI-DLC,5000CU*H 3个月
模型在线服务 PAI-EAS,A10/V100等 500元 1个月
交互式建模 PAI-DSW,每月250计算时 3个月
简介: 问题不少,可以提升的空间还很大

新注册了Modelscope的测试环境,主要目的是体验新发布的Qwen2模型,结果遇到了一堆问题:
1) Cuda out of memory的错误经常出现

粘贴GPT的回复如下:
模型大小和显存占用:
虽然模型文件大小为 16GB,但加载到显存中会有额外开销,例如中间激活值、优化器状态等。当前显存占用已经达到了 20.7GB(大部分是从大池分配),接近 24GB 显存的上限。
显存碎片化:

非可释放内存(约 174.5 MiB)表明显存可能存在碎片化问题,导致无法分配连续的大块内存。
分配和释放频率:

总分配量和总释放量很高,表明显存分配和释放操作频繁。这可能导致内存碎片化和管理开销增加。

尝试执行了torch.cuda.empty_cache()也不管用,重启kernel也不管用,
只能关掉NoteBook实例重新加载,但是错误依然会出现。

2) 评测了一下文本生成视频的模型,发现语义理解能力相当差,只有例子中带的熊猫吃竹子的视频
基本靠谱,换成其他输入,例如:两只鸭子正在小池塘里安静的游动,生成的视频完全不着边际。。。

3) 司南评测里随便选了几个模型进行对比评测,发现code能力和GPT差的不是一星半点,最后只好放弃。

相关文章
|
人工智能 自然语言处理 Java
首次体验中文竞技场大模型体验!!!
我将分别从知识常识、中文游戏、NLP专业领域、代码相关、写作创作、人类价值观六大领域测评不同模型的效果,以及一些看法。
|
机器学习/深度学习 自然语言处理 机器人
ChatGPT体验地址,超多功能,附公众号源码
ChatGPT体验地址,超多功能,附公众号源码
|
1天前
|
存储 编解码 人工智能
Sora正式上线!145元就能体验,内置剪辑神器让你秒变视频大师
Sora正式上线,145元即可体验。内置剪辑工具,助你快速生成视频,支持多种分辨率和长达20秒的视频输出。新增故事板编辑、场景混合等功能,让创作更便捷。不过,模型仍存在物理理解不足等问题,需谨慎期待。Sora现已在美国及多数国际市场推出,但中国地区暂不支持。
28 2
Sora正式上线!145元就能体验,内置剪辑神器让你秒变视频大师
|
7月前
|
算法 人工智能 缓存
CSDN官方创作助手InsCode AI 教你分分钟搞定一篇好文章
CSDN官方创作助手InsCode AI 教你分分钟搞定一篇好文章
70 0
CSDN官方创作助手InsCode AI 教你分分钟搞定一篇好文章
|
7月前
|
关系型数据库 分布式数据库 数据库
家人们谁懂啊?为了让你们免费体验PolarDB,我们开发了一个动手体验搭子!
抢鲜体验赢好礼,阿里云定制折叠伞和定制双肩包等你拿!
家人们谁懂啊?为了让你们免费体验PolarDB,我们开发了一个动手体验搭子!
|
Serverless 开发者 容器
AIGC 自画像活动火热进行中 | 跟着教程快速生图,体验倍儿爽
AIGC 自画像活动火热进行中 | 跟着教程快速生图,体验倍儿爽
|
存储 人工智能 机器人
ChatGPT官方APP上线:速度极快且免费、增加语音识别,网友:真香
ChatGPT官方APP上线:速度极快且免费、增加语音识别,网友:真香
196 0
|
人工智能
AI起名,在线核名,免费体验!
一文解释公司核名常见问题问题,帮您的企业赢在起跑线!
1026 0
|
文字识别 自然语言处理
魔搭体验求助
运行ocr demo时报错,望大家协助结局~感谢~
430 0
魔搭体验求助
|
关系型数据库 MySQL Serverless
【活动已结束】【体验有奖】使用 Serverless 1 步搭建照片平台
当前,Serverless 技术已经被广泛应用,Serverless = FaaS + BssS 的概念已经深入人心。本场景由函数计算和 RDS MySQL Serverless 联合打造,通过函数计算的快速部署能力,以及 MySQL Serverless 数据库的极致弹性,让开发者一步快速搭建简单的图片管理平台,体验 FaaS+BaaS 的 Serverless 架构的魅力。
【活动已结束】【体验有奖】使用 Serverless 1 步搭建照片平台

热门文章

最新文章