定义如下多目标优化问题，

min f(x) = [f_{1}(x), f_{2}(x), ...,f_{n}(x) ]

通过非负加权求和把上面多目标优化转化为单目标问题，

min J(x) = w_{1}f_{1}(x)+w_{2}f_{2}(x)+...+w_{n}f_{n}(x)

对比多目标优化问题和单目标优化，最大的区别在于多目标优化问题是一个向量优化的问题，需要比较向量之间的大小，向量之间仅仅存在偏序关系，这就导致该优化问题的性质非常不好。

首先说一下我们平常遇到的优化问题严格来说都属于多目标优化问题，但是目前来说大多数的做法是把多个目标直接做非负加权求和转化为一个单目标的优化问题。所以这里要指出的就是直接处理多目标优化问题和通过加权求和的方式转化为单目标相比优势是什么？

多个目标之间必然存在矛盾，如何权衡这些目标，如果是用单目标加权的话，我们只能是调节权值大小，这样权值的确定其实是很难的，除了一顿实验没有什么太好的方法去确定，而多目标优化因为是直接求解多目标问题，就不存在确定权值的问题了。

各个目标之间量纲往往不统一，所以为了平衡各个目标之间的量纲，往往需要较大的权值 w 来平衡量纲。例如目标函数 f_{2}(x) 的量纲相对其它目标函数就很小，所以为了平衡各个目标，就需要将 w_{2} 设置的很大，而如果 f_{2}(x) 包含一点Noise的话，很大的权值 w_{2}就会对整个目标函数产生巨大的影响。

加权求和的方式只能逼近帕累托前沿面为凸集的情况，如果多目标优化问题的帕累托面为非凸，则加权求和的方式就不能和原多目标优化问题等价，此时只有直接处理原多目标优化问题才能解决。

多目标优化问题的求解是会得到一个帕累托解集的，这个解集里边包含着很多的信息，例如可以产生一些对模型的可解释，可以分析多个目标之间的相关性等等。去年的机器学习顶级会议NIPS2018有一篇文章就是巧妙的将多目标优化的概念引入到多任务学习中，就是利用了多目标优化问题的这个性质。具体可参看我之前的回答 NIPS 2018 有什么值得关注的亮点？

说完了优势，那现在多目标优化的局限性是什么？为啥我们之前都是用单目标的比较多呢？原因比较简单，1单目标毕竟是比较简单的。2搞成多目标之后计算量要大大增加，这对于目前非常吃计算量的优化领域来说也很致命的弱点。看看多目标领域的顶级期刊的文章，搞个几千或者上万维的决策变量就是large-scale的了，可是在实际应用中经常会遇到百万，千万级别的优化问题。3多目标优化目前在处理2-5个目标还不错，如果目标数太多，其实目前也没啥太的好方法啦。4在业界的应用问题中，业务方需要你给一个明确的答案，而不是在一堆帕累托解集里边去选。

更多关于单目标和多目标优化可以参考

运筹OR帷幄专栏也会定期发布优化领域的科普内容和前沿进展