我们假设线性回归的噪声服从均值为0的正态分布。

当噪声符合正态分布N(0,delta^2)时，因变量则符合正态分布N(ax(i)+b,delta^2)，其中预测函数y=ax(i)+b。这个结论可以由正态分布的概率密度函数得到。也就是说当噪声符合正态分布时，其因变量必然也符合正态分布。 在用线性回归模型拟合数据之前，首先要求数据应符合或近似符合正态分布，否则得到的拟合函数不正确。 若本身样本不符合正态分布或不近似服从正态分布，则要采用其他的拟合方法，比如对于服从二项式分布的样本数据，可以采用logistics线性回归。

线性回归是广义线性模型，它的函数指数簇就是高斯分布。 p(y;η) = b(y)exp(η T T(y) − a(η))；

假设方差为1，以下为高斯分布推导为广义函数指数簇：