pytorch排查loss值出现nan的情况及解决
作者：Anthony_CH
在实验室训练中,损失值出现nan是因条件筛选导致空列表,触发torch.log()错误,通过包裹训练代码快速定位问题,最终解决方案是添加1e-7常量确保数值稳定性,避免计算异常
问题
- 跑实验室时出现了损失值为nan（下图所示）
排查
因为有一些判断所以用了
bd_index = torch.where(s_label != o_label)[0]
语句来选出满足条件的下标，这样做可能返回一个空列表（不满足条件时），因为后续有用到 torch.log() 函数来计算，所以如果是空列表放进去就会出现loss = nan，但是不同情况得具体分析，
排查的过程最好用的就是使用语句
with torch.autograd.detect_anomaly():
来将训练代码包裹起来（如下图所示），这样就能迅速定位到出现空值的点（平时训练时得去掉，会拖慢速度）
最终定位到 torch.log() 处，最终解决办法就是加上常量 log_prob = torch.log(prob + 1e-7) 这样就不会空值
- 运行成功：
总结
以上为个人经验，希望能给大家一个参考，也希望大家多多支持脚本之家。