请教一下机器学习PAI为什么我配了exporter_type: "final",训练完却没有export呢,这是我的训练命令:
pai -name easy_rec_ext -project algo_public
-Dconfig=oss://rta-bucket/dssm/dnn_exp/dnn_for_dssm_epoch.config
-Dversion=20210712
-Dcmd=train
-Dtables=odps://ump_ads_dev/tables/dssmtrain${model},odps://ump_ads_dev/tables/dssmtest${model}
-Dcluster='{"worker" : {"count":1, "gpu":100}}'
-Dbuckets="oss://rta-bucket/?role_arn=acs:ram:::role/rta-role&host=oss-cn-hangzhou-zmf-internal.aliyuncs.com"
-Dmodel_dir='oss://rta-bucket/dssm/dnnexp/gpu2${model}_v2/'
-Deval_method=none
我们训练应该必须要有ps 。可以不用gpu
export 也是一个cmd pai -name easy_rec_ext -project algo_public
-Dconfig=oss://easyrec/easy_rec_test/dwd_avazu_ctr_deepmodel_ext.config
-Dcmd=export
-Dexport_dir=oss://easyrec/easy_rec_test/export
-Dcluster='{"worker" : {"count":1, "cpu":1000, "memory":40000}}'
-Darn=acs:ram::xxx:role/ev-ext-test-oss
-Dbuckets=oss://easyrec/
-DossHost=oss-cn-beijing-internal.aliyuncs.com
https://easyrec.readthedocs.io/en/latest/export.html ,此回答整理自钉群“【EasyRec】推荐算法交流群”
在阿里云PAI-EasyRec框架中,exporter_type: "final"
表示在训练结束后导出最终模型。从你提供的命令行参数来看,你配置了训练任务,但没有明确指明导出模型的命令。为了在训练结束后自动导出模型,你需要在EasyRec的配置文件(dnn_for_dnn_epoch.config)中正确设置export相关的参数。
然而,你当前的命令行参数只包含了训练(-Dcmd=train
)和评估方法(-Deval_method=none
),并没有包括模型导出的相关指令或参数。
为了在训练结束后导出模型,请在你的配置文件(dnn_for_dnn_epoch.config)中确认以下内容:
# 在easy_rec配置文件中添加或确认以下部分
exporters:
- name: final_model_exporter
type: final
model_path: ${your_oss_model_save_path} # OSS路径保存模型
之后在命令行中确保引用了包含导出配置的文件。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。