有联系的事物之间存在着特定的关系。将事物抽象为变量，即变量之间存在着特定的关系。回归（regression）方法就是建立变量之间相互关系模型的数学方法。具体点说，在回归中，假定因变量Y和自变量X之间的模型，然后计算模型中的系数。

回归分类：

1.按照因变量个数、模型类型，可分为

①一元线性；②一元非线性；③多元线性；④多元非线性。

2.两种特殊方式：

2.1一元线性回归

一个自变量x和因变量Y的线性关系模型：

Y——因变量，x——自变量，β0、β1 ——未知参数，称回归系数，ε ——随机误差， ，var(ε)=σ2>0

如何建立回归方程？分二步：

①确定能否建立线性回归模型；

②确定如何对模型中未知参数β0、β1 进行评估。

下面详细解释其过程。

⑴对总体(x,Y)进行n次独立观测，获得n组观测值：

⑵在直角坐标系中画出观测值对应的点(xi,yi) 的散点图。

如果这些点大致位于同一条直线附近，则认为Y与x之间存在线性关系。

⑶利用最小二乘法得到 的最小二乘估计 ，估计公式为

其中，

于是建立了经验模型：

⑷回归效果评价。

3个评价参数：

SSE表征y的估计值与实际值的偏差程度。

SST表征y与y平均值的偏差程度。

SSR表征两种偏差之间的差值。

三个评价准则：

, 大，说明SSE相对SST小，表示总体上看，yi与 比较靠近，验证模型可靠。

S值越小，说明SSE越小，经验模型与实际越接近。

通过R、S和F的值，判断模型是否具有良好线性关系。

⑸确定最精确的一元线性回归模型，并可以利用该模型对Y进行预测。

2.2一元非线性回归

       实际问题中，变量间的关系有的是非线性关系，应该用曲线进行拟合。

⑴解决的基本思路：

①对于曲线回归建模的目标函数 ，通过中间变换

使目标函数线性化，化为一元线性函数 形式。

②利用最小二乘估计法估计出参数a和b，用

描述v与u之间的统计规律。

③用逆变换

还原为目标函数形式的非线性回归方程。

⑵常见的非线性回归模型

这些常见模型常作为非线性回归拟合的参考模型。

①倒幂函数

②幂函数