[机器学习必知必会]凸优化 |
您所在的位置:网站首页 › 二次型是啥 › [机器学习必知必会]凸优化 |
定义
凸优化问题(OPT,convex optimization problem)指定义在凸集中的凸函数最优化的问题。尽管凸优化的条件比较苛刻,但仍然在机器学习领域有十分广泛的应用。 凸优化问题的优势 凸优化问题的局部最优解就是全局最优解 很多非凸问题都可以被等价转化为凸优化问题或者被近似为凸优化问题(例如拉格朗日对偶问题) 凸优化问题的研究较为成熟,当一个具体被归为一个凸优化问题,基本可以确定该问题是可被求解的 相关数学概念 1. 凸集 1.1 定义:
直观来说,任取一个集合中的两点练成一条线段,如果这条线段完全落在该集合中,那么这个集合就是凸集。 定义在 假设定义在 一阶充要条件从几何意义上讲,即定义域内所有函数值都大于等于该点的一阶近似。 记函数的一阶导数和二阶导数分别为 注意:这里的 正定矩阵的概念是从正定二次型引入的,对称矩阵 为方便理解正定/半正定矩阵,我们引入二次型 同时,对于所有的二次齐次式我们都可以写成矩阵形式:
因为对于任意的二次型,我们都能将其写为矩阵形式,且矩阵 对于最简单的一元二次函数 扩展到 同样我们可以给出二元半正定二次型的图像,即某个自变量的特征值为0从而保证当自变量取值为非零向量时,对应的函数值大于等于0恒成立。
由于凸优化问题具有局部最优解即全局最优解的优良特性,因此求解过程可以简化为:找到一个点列使得目标函数值持续减少,直到触发停止条件或达到一个最小值。 设 其中第
[1] https://www.jiqizhixin.com/articles/2019-03-05-8 [2] https://www.zhihu.com/question/38902714/answer/195435181 [3] https://www.jianshu.com/p/62539b0316e2 [4] plot: matplotlib.pyplot [5] http://cs229.stanford.edu/section/cs229-cvxopt.pdf |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |