游客dnh4fn5yp5gom_个人页

2025年01月

• 01.17 14:53:33
  发表了文章 2025-01-17 14:53:33

  sam模型迁移昇腾训练loss不收敛问题的解决办法

  在将SAM模型迁移到昇腾平台时，遇到了精度问题。具体表现为NPU训练的loss图从一开始就未收敛，而GPU则正常收敛。通过使用Ascend开源仓的msprobe工具进行精度对比，发现NPU丢失了image_embedding的梯度，原因在于torch_npu版本与PyTorch不匹配，导致`repeat_interleave_backward_tensor`函数调用失败。最终通过选择与PyTorch配套的torch_npu版本解决了问题，loss图恢复正常。