系统环境

硬件环境(Ascend/GPU/CPU): Ascend

MindSpore版本: 2.2

执行模式(PyNative/ Graph): 不限

报错信息

2.1 问题描述

MindSpore模型Pipeline并行发现有些卡的log中loss为0

根因分析

       该情况下可能不是问题,pipeline并行需要查看最后一张卡的loss,其余卡的loss均为0。

Logo

鲲鹏昇腾开发者社区是面向全社会开放的“联接全球计算开发者,聚合华为+生态”的社区,内容涵盖鲲鹏、昇腾资源,帮助开发者快速获取所需的知识、经验、软件、工具、算力,支撑开发者易学、好用、成功,成为核心开发者。

更多推荐