不同于线性回归是预测多少的问题（比如预测房屋价格），softmax回归是一种用于多分类的问题，它被用于预测样本属于给定类中的哪一类（比如预测图像描绘的是狗、猫还是鸡）。它的本质是把全连接层的输出序列变成一个概率序列：

S(\mathbf{a}):\left[\begin{array}{l} a_1 \\ a_2 \\ \cdots \\ a_N \end{array}\right] \rightarrow\left[\begin{array}{l} S_1 \\ S_2 \\ \ldots \\ S_N \end{array}\right]\\ S_j=\frac{e^{a_j}}{\sum_{k=1}^N e^{a_k}} \quad \forall j \in 1 . . N\\

那么便可以用这个概率序列来表示各输出的相对概率大小，取最大概率对应输出下标即为分类结果索引。这样做的好处是使得在后续梯度下降算法中梯度的求解更为方便。

从一个图像分类问题开始。 假设每次输入是一个2×2的灰度图像，每个图像对应四个特征 x_1,x_2,x_3,x_4 。此外，假设每个图像属于类别“猫“”“鸡”和“狗”中的一个。选择一个三维向量 y \in\{(1,0,0),(0,1,0),(0,0,1)\} 作为分类标签，其中 (1,0,0) 对应“猫”， (0,1,0) 对应“鸡”， (0,0,1) 对应“狗”。这样便有了一个多输出模型：

\begin{aligned} & o_1=x_1 w_{11}+x_2 w_{12}+x_3 w_{13}+x_4 w_{14}+b_1 \\ & o_2=x_1 w_{21}+x_2 w_{22}+x_3 w_{23}+x_4 w_{24}+b_2 \\ & o_3=x_1 w_{31}+x_2 w_{32}+x_3 w_{33}+x_4 w_{34}+b_3 \end{aligned}\\ 其中，带下标的 \omega 为权重， o_1、o_2、o_3表示未规范化的输出序列，带下标的b为偏置。通过向量形式可记为 o=Wx+b 。用神经网络图来描述即为：

紧接着，需要对序列 o_1、o_2、o_3 进行规范化变换，使得所有输出非负且总和为1，同时保证模型可导。即如下式所示：

\hat{\mathbf{y}}=\operatorname{softmax}(\mathbf{o}) \quad \text { 其中 } \quad \hat{y}_j=\frac{\exp \left(o_j\right)}{\sum_k \exp \left(o_k\right)}\\ 这样保证了对于所有 j 总有 0 \leq \hat{y}_j \leq 1 ， \hat{y} 便可视为一个概率分布，并且softmax运算不会改变未规范化的预测o之间的大小次序，只会根据其大小确定分配给每个类别一定的概率。通过 \underset{j}{\operatorname{argmax}} \hat{y}_j=\underset{j}{\operatorname{argmax}} o_j 便可得出最有可能的类别下标。这里需要说明的是，在对训练好的模型上进行预测时可不需要进行softmax运算便可得到最佳分类，但在训练模型时，由于用到梯度下降算法，使用softmax运算配合交叉熵损失函数可以使得在求解梯度的时候更加方便。

softmax函数给出了一个向量 \hat{y} ，可以将其视为“对给定任意输入x的每个类的条件概率”。 例如， \hat{y}_1=P(y=\text { 猫 } \mid \mathbf{x}) 。假设整个数据集 \left\{ X,Y \right\} 具有 n 个样本， 其中索引 i 的样本由特征向量 x^{(i)} 和独热标签向量 y^{(i)} 组成。 将估计值与实际值进行比较：

P(\mathbf{Y} \mid \mathbf{X})=\prod_{i=1}^n P\left(\mathbf{y}^{(i)} \mid \mathbf{x}^{(i)}\right)\\ 根据最大似然估计，最大化 P(\mathbf{Y} \mid \mathbf{X}) 相当于最小化负对数似然： -\log P(\mathbf{Y} \mid \mathbf{X})=\sum_{i=1}^n-\log P\left(\mathbf{y}^{(i)} \mid \mathbf{x}^{(i)}\right)=\sum_{i=1}^n l\left(\mathbf{y}^{(i)}, \hat{\mathbf{y}}^{(i)}\right)\\ 其中，对于任何标签 y 和模型预测 \hat{y} ,损失函数写为：

l(\mathbf{y},\hat{\mathbf{y}})=-\sum_{j=1}^q y_j\log\hat{y}_j\\ 这通常被称为交叉熵损失（cross-entropy loss）。

根据softmax定义可以得到：

\begin{aligned}l(\mathbf{y},\mathbf{y})&=-\sum_{j=1}^q y_j\log\frac{\exp(o_j)}{\sum_{k=1}^q\exp(o_k)}\\ &=\sum_{j=1}^q y_j\log\sum_{k=1}^q\exp(o_k)-\sum_{j=1}^q y_jo_j\\ &=\log\sum_{k=1}^q\exp(o_k)-\sum_{j=1}^q y_jo_j.\end{aligned}\\ 考虑对 o_j 求导，得到：

\partial_{o_j}l(\mathbf{y},\hat{\mathbf{y}})=\dfrac{\exp(o_j)}{\sum_{k=1}^q\exp(o_k)}-y_j=\mathrm{softmax}(\mathbf{o})_j-y_j\\

换句话说，导数是softmax模型分配的概率与实际发生的情况（由独热标签向量表示）之间的差异。 同样的，在线性回归中，梯度是观测值 y 和估计值 \hat{y} 之间的差异。实际上这不是巧合，在任何指数族分布模型中 ， 对数似然的梯度正是由此得出的。 这就使得梯度计算在实践中变得容易很多。

代码参照李沐《动手学深度学习》第二版pytorch代码，用到的d2l包下载地址：https://github.com/d2l-ai/d2l-zh。

原始数据集中的每个样本都是28×28的图像，展平每个图像，把它们看作长度为784的向量，把每个像素位置看作一个特征。数据集有10个类别，因而权重矩阵为784×10的矩阵，偏置向量为1×10。使用正态分布初始化我们的权重w，偏置初始化为0。

定义acuracy函数用于计算预测正确的数量。

定义evaluate_accuracy函数用于计算net模型在data_iter指定访问的数据集上的预测正确率。

定义一个实用程序类Accumulator，用于对多个变量进行累加。 在上面的evaluate_accuracy函数中， 我们在Accumulator实例中创建了2个变量， 分别用于存储正确预测的数量和预测的总数量。 遍历数据集时，两者都将随着时间的推移而累加。

定义一个迭代周期的训练函数

在展示训练函数的实现之前，定义一个在动画中绘制数据的实用程序类Animator。

接下来实现一个训练函数， 它会在train_iter访问到的训练数据集上训练一个模型net。 该训练函数将会运行多个迭代周期（由num_epochs指定）。 在每个迭代周期结束时，利用test_iter访问到的测试数据集对模型进行评估。 另外，利用Animator类来可视化训练进度。

设置学习率为0.1，使用小批量随机梯度下降来优化模型的损失函数。

训练模型10个迭代周期。

给定一系列图像进行分类预测，实际标签打印在第一行，预测标签打印在第二行，从结果可以看出测试数据集中前6张图的预测结果均正确。

由于本帖代码中acuracy、evaluate_accuracy、Accumulator、train_epoch_ch3、train_ch3、predict_ch3函数以及Animator类均在d2l包中有封装，为便于理解均完全列出，实际使用时可直接通过d2l调用即可。

训练：

测试：