modelscope中关于用swift对LLM量化时，参数的含义咨询
https://modelscope.cn/docs/LLM%E9%87%8F%E5%8C%96%E6%96%87%E6%A1%A3 链接中对原始模型量化，类似这样的命令：
CUDA_VISIBLE_DEVICES=0 swift export \
--model_type qwen1half-7b-chat --quant_bits 4 \
--dataset alpaca-zh alpaca-en sharegpt-gpt4:default --quant_method awq
想给各专家了解下如下几个问题：
1、命令中的model_type取值都有哪些呢？怎么去确定这个取值
2、如果模型已经下载到本地，是不是有其他参数可以指定(swift 没找到查看相关选项，命令的操作)
3、在该文档中所有操作涉及到的--model_type含义都是一养的吗？比如推理
展开
收起
1
条回答
写回答
写回答
-
北京阿里云ACE会长
详细的信息这里可以看到，源码
https://github.com/modelscope/swift
quant_bits：指定量化的位数，量化可以减少模型的精度，以换取更快的推理速度和更小的模型大小。
dataset：指定用于模型训练或评估的数据集。
2024-07-07 07:59:35赞同 7 展开评论 打赏
版权声明：本文内容由阿里云实名注册用户自发贡献，版权归原作者所有，阿里云开发者社区不拥有其著作权，亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容，填写侵权投诉表单进行举报，一经查实，本社区将立刻删除涉嫌侵权内容。
相关问答
热门讨论
热门文章
发送excel文件，在钉钉上打开报错误。OfficeImportErrorDomain错误912
13027
如何训练属于自己的“通义千问”呢？
6814
jetbrain IDE 无法正常安装 TONGYI Lingma plugin
2608
idea 安装通义灵码后登录 提示“本地服务启动失败”
2815
要使用qwen2.5的api 怎么步骤
309
通义灵码idea插件，无法登录问题
821
大模型的token是怎么计算的？
978
VSCode中无法登录通义灵码
1420
通义灵码一直在启动中，无法登陆。
1953
通义灵码登录失败，提示通义灵码域名无法解析
1562
展开全部
阿里云通义千问向全社会开放！
49622
maven配置阿里云镜像源
21968
ollama + qwen2.5-coder + VS Code + Continue 实现本地AI 辅助写代码
1340
【完全免费】VS Code 最好用的 12 款 AI 代码提示插件！！！
9283
Qwen模型角色扮演最佳实践
188
Cursor + qwen2.5-coder 32b 的配置方式
368
2023云栖大会 | 阿里云发布通义千问2.0
2670
通义千问API：让大模型使用各种工具
74036
通义千问API入门教程
31644
【项目实战】通过LLaMaFactory+Qwen2-VL-2B微调一个多模态医疗大模型
145
展开全部
