开发者社区 > 大数据与机器学习 > 人工智能平台PAI > 正文

请教一下机器学习PAI为什么我配了exporter_type: "final",训练完却没有呢?

请教一下机器学习PAI为什么我配了exporter_type: "final",训练完却没有export呢,这是我的训练命令:
pai -name easy_rec_ext -project algo_public
-Dconfig=oss://rta-bucket/dssm/dnn_exp/dnn_for_dssm_epoch.config
-Dversion=20210712
-Dcmd=train
-Dtables=odps://ump_ads_dev/tables/dssmtrain${model},odps://ump_ads_dev/tables/dssmtest${model}
-Dcluster='{"worker" : {"count":1, "gpu":100}}'
-Dbuckets="oss://rta-bucket/?role_arn=acs:ram:::role/rta-role&host=oss-cn-hangzhou-zmf-internal.aliyuncs.com"
-Dmodel_dir='oss://rta-bucket/dssm/dnnexp/gpu2${model}_v2/'
-Deval_method=none

展开
收起
真的很搞笑 2024-01-28 18:54:43 52 0
2 条回答
写回答
取消 提交回答
  • 我们训练应该必须要有ps 。可以不用gpu
    export 也是一个cmd pai -name easy_rec_ext -project algo_public
    -Dconfig=oss://easyrec/easy_rec_test/dwd_avazu_ctr_deepmodel_ext.config
    -Dcmd=export
    -Dexport_dir=oss://easyrec/easy_rec_test/export
    -Dcluster='{"worker" : {"count":1, "cpu":1000, "memory":40000}}'
    -Darn=acs:ram::xxx:role/ev-ext-test-oss
    -Dbuckets=oss://easyrec/
    -DossHost=oss-cn-beijing-internal.aliyuncs.com
    https://easyrec.readthedocs.io/en/latest/export.html ,此回答整理自钉群“【EasyRec】推荐算法交流群”

    2024-01-28 22:25:17
    赞同 1 展开评论 打赏
  • 在阿里云PAI-EasyRec框架中,exporter_type: "final" 表示在训练结束后导出最终模型。从你提供的命令行参数来看,你配置了训练任务,但没有明确指明导出模型的命令。为了在训练结束后自动导出模型,你需要在EasyRec的配置文件(dnn_for_dnn_epoch.config)中正确设置export相关的参数。

    然而,你当前的命令行参数只包含了训练(-Dcmd=train)和评估方法(-Deval_method=none),并没有包括模型导出的相关指令或参数。

    为了在训练结束后导出模型,请在你的配置文件(dnn_for_dnn_epoch.config)中确认以下内容:

    # 在easy_rec配置文件中添加或确认以下部分
    exporters:
      - name: final_model_exporter
        type: final
        model_path: ${your_oss_model_save_path}  # OSS路径保存模型
    

    之后在命令行中确保引用了包含导出配置的文件。

    2024-01-28 21:34:14
    赞同 展开评论 打赏

人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。

相关产品

  • 人工智能平台 PAI
  • 热门讨论

    热门文章

    相关电子书

    更多
    大规模机器学习在蚂蚁+阿里的应用 立即下载
    基于Spark的面向十亿级别特征的 大规模机器学习 立即下载
    基于Spark的大规模机器学习在微博的应用 立即下载