请教个机器学习PAI问题~不同目标的auc计算时,num_thresholds都是固定的同一个是吧?如果是的话,这里会不会拆开比较好呢?
每个目标里面可以分开设置,如果predict score差异小,阈值分桶就应该更多 ,此回答整理自钉群“【EasyRec】推荐算法交流群”
在阿里云机器学习PAI中,不同目标的AUC(Area Under the Curve)计算时,num_thresholds
参数并不一定是固定的同一个数值。num_thresholds
参数用于指定计算AUC时划分正负样本的阈值数量,不同的任务和模型可能会有不同的最优阈值数。
例如,在多标签分类或多任务学习场景下,各个任务的目标函数和评价指标可能不尽相同,因此针对每个目标计算AUC时,可以根据实际情况设置不同的num_thresholds
。
至于是否需要拆开,主要取决于以下因素:
任务复杂性:若各任务之间差异较大,或者每个任务的最佳阈值分布范围相差很大,可能需要独立设置num_thresholds
以获得更精确的AUC估计。
计算资源:增加num_thresholds
会增大计算量,如果计算资源有限,可能需要权衡每个任务的精度和整体计算时间。
评估准确性:更多的阈值划分可以使AUC曲线更加平滑,从而更精确地反映模型性能,但如果任务间差异不大,或者任务比较简单,过多的阈值划分可能并无太大意义。
总之,在实际应用中,应当根据具体任务需求和计算资源情况灵活设置num_thresholds
,不必拘泥于固定的一个数值。在PAI平台上,你可以为每个目标或任务单独配置相应的评估参数。
版权声明:本文内容由阿里云实名注册用户自发贡献,版权归原作者所有,阿里云开发者社区不拥有其著作权,亦不承担相应法律责任。具体规则请查看《阿里云开发者社区用户服务协议》和《阿里云开发者社区知识产权保护指引》。如果您发现本社区中有涉嫌抄袭的内容,填写侵权投诉表单进行举报,一经查实,本社区将立刻删除涉嫌侵权内容。
人工智能平台 PAI(Platform for AI,原机器学习平台PAI)是面向开发者和企业的机器学习/深度学习工程平台,提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务,内置140+种优化算法,具备丰富的行业场景插件,为用户提供低门槛、高性能的云原生AI工程化能力。