问题一:ModelScope这里也许要改下吗?
问题二:DownloadMode.REUSE_DATASET_IF_EXISTS和你写的if os.path.exists(dataset_name):存在重复吗?
针对问题一的回答:https://github.com/THUDM/ChatGLM2-6B/tree/main/ptuning 您可以看下官方提供的readme
针对问题二的回答:不重复,在REUSE_DATASET_IF_EXISTS模式下,也会去判断path exists,如果发现该dataset相关文件不存在,会自动从hub端拉取。此回答整理自钉群“魔搭ModelScope开发者联盟群 ①
是的,根据你提供的信息,这段代码中有一些错误,可能需要进行修改。
首先,命令行中的.python应该改为python,以便正确运行Python脚本。
其次,模型名称chatelmsb可能需要根据你的实际情况进行修改,以确保正确加载所需模型。
在训练和验证数据集的名称中,dataset namedvertiseGen/train.jsor和dataset namedvertiseGen/dev.json中的空格和拼写错误可能会导致文件无法正确加载。请检查文件路径和名称是否正确,并根据需要进行修改。
在模型训练参数中,-prompt colusn conte t resoonse coumnsurar中的空格和拼写错误可能会导致参数无法正确解析。请检查参数名称和格式是否正确,并根据需要进行修改。
综上所述,以下是可能需要修改的代码示例:
Copy
PYTHONPATH=. python example/pytorch/finetune.py --model_name_or_path chatel13b-large-xinyu --train_dataset namedvertiseGen/train.json --val_dataset namedvertiseGen/dev.json --prompt_columns context,response --response_column rating