ModelScope中Mgeo模型训练，报这个错怎么办？
ModelScope中Mgeo模型训练，报这个错size mismatch for classifier.bias: copying a param with shape torch.Size([57]) from checkpoint, the shape in current model is torch.Size([60]).
麻烦问下是什么问题？transformers版本4.31.0.
报错截图
{"tokens": ["海", "南", "省", "海", "口", "市", "琼", "山", "区", "云", "龙", "镇", "云", "蛟", "村", "委", "会", "海", "榆", "北", "路", "1", "8", "8", "号", "中", "信", "台", "达", "国", "际", "A", "区", "独", "栋", "3", "0", "号", "1", "0", "室"], "ner_tags": ["B-prov", "I-prov", "E-prov", "B-city", "I-city", "E-city", "B-district", "I-district", "E-district", "B-town", "I-town", "E-town", "B-community", "I-community", "I-community", "I-community", "E-community", "B-road", "I-road", "I-road", "E-road", "B-roadno", "I-roadno", "I-roadno", "E-roadno", "B-poi", "I-poi", "I-poi", "I-poi", "I-poi", "E-poi", "B-subpoi", "E-subpoi", "B-houseno", "I-houseno", "I-houseno", "I-houseno", "E-houseno", "B-roomno", "I-roomno", "E-roomno"]}
我加了一条这个训练。原模型没训练roomno，现在想加roomno来训练。
写回答
-
这条是用自定义数据集训练的，本地load用户自定义数据在模型卡片上有说明。记得这个模型原来是数据脱敏，不识别roomno的。此回答来自钉群魔搭ModelScope开发者联盟群 ①。
2024-03-05 16:41:36赞同 2 展开评论 打赏 -
面对过去，不要迷离；面对未来，不必彷徨；活在今天，你只要把自己完全展示给别人看。这个错误提示表明在加载预训练模型时，分类器的偏置参数（bias）的形状不匹配。预训练模型中的偏置参数形状为torch.Size([57])，而当前模型中的形状为torch.Size([60])。
要解决这个问题，你可以尝试以下方法：
- 检查预训练模型和当前模型的类别数量是否一致。确保预训练模型的类别数量与当前模型的类别数量相同。
- 如果预训练模型的类别数量与当前模型的类别数量不同，你需要重新训练一个与当前模型类别数量相匹配的预训练模型。
- 如果无法获取与当前模型类别数量相匹配的预训练模型，你可以尝试修改当前模型的结构，使其与预训练模型的类别数量相匹配。
2024-03-03 20:07:08赞同 展开评论 打赏
ModelScope旨在打造下一代开源的模型即服务共享平台，为泛AI开发者提供灵活、易用、低成本的一站式模型服务产品，让模型应用更简单！欢迎加入技术交流群：微信公众号：魔搭ModelScope社区，钉钉群号：44837352
