考虑两个变量\(Y\)与\(X\)的关系，希望用\(X\)值的变化解释\(Y\)值的变化。 \(X\)称为自变量(independent variable)，\(Y\)称为因变量(response variable)。

假设模型 \[\begin{aligned} Y = a + b X + \varepsilon, \quad \varepsilon \sim \text{N}(0,\sigma^2) \end{aligned} \]

在回归分析理论中通常假定\(X\)是非随机的， 因变量\(Y\)的随机性来自误差项\(\varepsilon\)。 实际应用中\(X\)常常也是随机的。

设观测值为\((X_i, Y_i), i=1,2,\dots,n\)，假设观测值满足上模型。 即 \[\begin{aligned} Y_i = a + b X_i + \varepsilon_i, \quad \varepsilon_i \text{ iid }\sim \text{N}(0,\sigma^2) . \end{aligned} \]

直观上看，要找最优的直线\(y=a+bx\)使得直线与观测到的点最接近。 例如：