线性回归是利用数理统计中回归分析，来确定两种或两种以上变量间相互依赖的定量关系的一种统计分析方法，运用十分广泛。其表达形式为y = w’x+e，e为误差服从均值为0的正态分布。

回归分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。

如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多元线性回归分析。

最小二乘法又称最小平方法，它通过最小化误差的平方和寻找数据的最佳函数匹配。利用最小二乘法可以简便地求得未知的数据，并使得这些求得的数据与实际数据之间误差的平方和为最小。最小二乘法还可用于曲线拟合。

一般来说，线性回归都可以通过最小二乘法求出其方程，可以计算出对于y=bx+a的直线。一般地，影响y的因素往往不止一个，假设有x1，x2，…，xk，k个因素，通常可考虑如下的线性关系式： y = β 0 + β 1 x 1 + β 2 x 2 + . . . . . . + β k x k + ε y=β_0+β_1x_1+β_2x_2+......+β_kx_k+ε y=β0​+β1​x1​+β2​x2​+......+βk​xk​+ε 对y与 x 1 , x 2 , . . . . . . , x k , x_1,x_2,......,x_k, x1​,x2​,......,xk​,同时作为n次独立观察得n组观测值 （ x t 1 ， x t 2 ， . . . . . . ， x t k ） , t = 1 , 2 , . . . . . . n ( n > k + 1 ) , （x_{t1}，x_{t2}，......，x_{tk}）,t=1,2,......n(n>k+1), （xt1​，xt2​，......，xtk​）,t=1,2,......n(n>k+1),同时他们能满足关系： y = β 0 + β 1 x t 1 + β 2 x t 2 + . . . . . . + β k x t k + ε t y=β_0+β_1x_{t1}+β_2x_{t2}+......+β_kx_{tk}+ε_t y=β0​+β1​xt1​+β2​xt2​+......+βk​xtk​+εt​ 其中 ε 1 , ε 2 , . . . . . . , ε n ε_1,ε_2,......,ε_n ε1​,ε2​,......,εn​互不相关均是与ε同分布的随机变量。为了用矩阵表示上式，于是有了Y=Xβ+ε，使用最小二乘法得到β的解 β − = ( X T X ) − 1 X T Y 。 β^-=(X^TX)^{-1}X^TY。 β−=(XTX)−1XTY。 其中， ( X T X ) − 1 X T (X^TX)^{-1}X^T (XTX)−1XT称为X的逆。

一般地，要求这个值大于5%。 对大部分的行为研究者来讲，最重要的是回归系数。 年龄增加1个单位，文档的质量就下降 -.1020986个单位，表明年长的人对文档质量的评价会更低。这个变量相应的t值是 -2.10，绝对值大于2，p值也