引言：多目标优化在推荐系统、物流配送、路径规划等中有广泛的应用。笔者调研了多目标优化领域的文献，将学习过程中的感想和心得记录下来，供后续翻阅。本系列将从以下几个方面介绍：多目标优化的问题定义、帕累托解集的定义、多目标优化的经典算法，如线性加权、主要目标法等、多目标优化的梯度下降方法、多任务学习与多目标优化等内容。

欢迎关注微信公众号了解更多内容：simplex101 ， 分享多目标优化、线性与非线性规划相关内容。

多目标优化在推荐系统、物流配送、路径规划等中有广泛的应用。笔者近期调研了多目标优化领域的文献，将学习过程中的感想和心得记录下来，供后续翻阅。本系列将从以下几个方面介绍：

本节将介绍多目标优化的问题定义，分别从单目标、多目标，无约束和有约束方面介绍。

无约束的单目标优化问题

\min_{x} \enspace f(x) ,x \in R^N \tag{1} \\

其中，x的取值为n维实数空间R^N，f(x)为连续一阶可导函数。

\min_{x} \enspace F(x) = [f_1(x),f_2(x),...,f_K(x)] \tag{2} \\

其中，K为子目标的个数，x的取值为N维实数空间R^N，f_k(x)为连续一阶可导函的子目标函数。

\begin{array}{c} \min_{x} \enspace f(x) \\ \text{s.t. } g_i(x) \ge 0 ,i \in [1,M ] \\ \text{ } h_j(x) = 0 ,j \in [1,L ] \end{array} \tag{3}

其中s.t.为subject to的缩写，表示受限于的意思。

令D为上述多目标优化问题的可行域，即

D= \{x |g_i(x) \ge 0 ,i \in [1,M ] , h_j(x) = 0 ,j \in [1,L ] \} \\

带约束的多目标问题MOO(mulit object optimization )

\begin{array}{c} \min_{x} \enspace F(x) = [f_1(x),f_2(x),...,f_K(x)] \tag{4} \\ \text{s.t. } g_i(x) \ge 0 ,i \in [1,M ] \\ \text{ } \enspace h_j(x) = 0 ,j \in [1,L ] \end{array}

令D为上述多目标优化问题的可行域，即

D= \{x |g_i(x) \ge 0 ,i \in [1,M ] , h_j(x) = 0 ,j \in [1,L ] \} \\

对于多目标优化问题MOO，通常不存在解x^*\in D,使得目标f_i(x)，\forall i \in[1,K]，同时达到最小值，因此单目标优化的最优解定义在MOO问题中不适用。

在MOO问题中，其解集可以通过绝对最优解、有效解和弱有效解来描述。

在描述MOO的解集之前，我们先来定义多目标里面的相等、严格小于、小于、小于且不相等的含义，参考[1]：

设R^N为N维实向量空间，y=(y_1,y_2,..y_N)^T,z=(z_1,z_2,..z_N)^T

\begin{cases} &\text{ 相等} & y=z \Leftrightarrow y_i = z_i ,i=1,2,...,N &\\ &\text{ 严格小于} &y< z \Leftrightarrow y_i < z_i ,i=1,2,...,N &\\ &\text{ 小于} &y\leqq z \Leftrightarrow y_i \leqslant z_i ,i=1,2,...,N &\\ &\text{ 小于且不相等（支配） } & y\leqslant z \Leftrightarrow y_i \leqslant z_i ,i=1,2,...,N ,且y\neq z &\\ \tag{5} \end{cases}

接下来的解集按照(5)的记号来定义。

定义： \forall x_1,x_2 \in R^N，如果对于所有的k=1,...,K，都有f_k(x_1) \leqslant f_k(x_2)，则称x_1支配x_2

定义：设x^*\in D，如果对于任意的x\in D ,都有f(x^*) \leqq f(x)，即对于所有的k=1,...,K，都有f_k(x^*)\leqslant f_k(x)， 则x^*是MOO问题的绝对最优解

定义：设x^*\in D，如果不存在x\in D ,使得f(x) \leqslant f(x^*)； 即下面条件不成立

f_k(x)\le f_k(x^*), and \enspace \exists i ,f_i(x) < f_i(x^*) ,i \in [1,K] \\

则x^*是MOO问题的有效解

有效解也叫帕累托最优解，其含义是如果x^*是帕累托最优解，则找不到这样的可行解x\in D，使得f(x)的每个目标值都不比f(x^*)的目标值坏，并且f(x)至少有一个目标比f(x^*)的相应目标值好。即x^*是最好的，不能再进行改进（帕累托改进）.

定义：设x^*\in D，如果不存在x\in D ,使得f(x) < f(x^*),即

f_k(x) < f_k(x^*), and \enspace \ ,\forall k \in [1,K] \\

则x^*是MOO问