ModelScope使用自定义的模型和数据集 还要注册把?
是的,在ModelScope中,如果您要使用自定义的模型和数据集,通常需要将它们进行注册。
注册模型:
注册数据集:
通过注册模型和数据集,ModelScope可以有效地管理和跟踪您的自定义资源,并为您提供方便的接口和功能来进行模型评估、预测等任务。。
数据集直接从--custom_train_dataset_path和--custom_val_dataset_path传入即可
模型需要注册下,因为涉及到如何加载tokenizer等问题,可以直接修改:https://github.com/modelscope/swift/blob/main/examples/pytorch/llm/custom.py 这里面是一个例子,此回答整理自钉群“魔搭ModelScope开发者联盟群 ①”