交叉熵损失函数的具体为：

loss = -(x*ln(z)+(1-x)*ln(1-z))  z = softmax(pred_x) 这样当z为0/0时会出现loss为nan的情况

本人的具体原因 网络中用了MultiHeadAttention,attention的mask全为0,这样attention就为nan，造成个别样本的输出特征全为nan。于是就自己用pytorch写了一个cross_entropy loss函数，剔除掉有时候个别为nan的样本。 github地址:Self_cross_entropy

参考解决方案

在pred_x上加一个很小的量，如1e-10 loss = crossentropy(out+1e-8, target) 1 采用更小的学习率 做梯度裁剪

pytorch 梯度裁剪

import torch.nn as nn

outputs = model(data)

loss= loss_fn(outputs, target)

optimizer.zero_grad()

loss.backward()

nn.utils.clip_grad_norm_(model.parameters(), max_norm=20, norm_type=2)

optimizer.step()

nn.utils.clip_grad_norm_ 的参数：

parameters – 一个基于变量的迭代器，会进行梯度归一化

max_norm – 梯度的最大范数

norm_type – 规定范数的类型，默认为L2

还可能是数据有问题 比如这位的.链接 [参考]

https://stats.stackexchange.com/questions/108381/how-to-avoid-nan-in-using-relu-cross-entropy  

且新的变量自动全是variable类型，可顺利反向传播 实现好后运行结果出现大量的nan，无法正常运算，使用clamp限制loss计算值的范围 class CrossEntropy(nn.Module):     def __init__(self):         super(CrossEntropy, self).__init__()              def forward(self, inputs, targets):         ## torch中要想实现backward就不能使用np，不能用array，只能使用tensor，只有tensor才有requires_grad参数         loss1=-targets*(torch.log(inputs)).cuda()         loss=torch.sum(loss1.clamp(min=0.0001,max=1.0))