利普希茨连续的定义是：如果函数 f f f在区间 Q Q Q上以常数 L L L利普希茨连续，那么对于 x , y ∈ Q x, y \in Q x,y∈Q，有： ∣ ∣ f ( x ) − f ( y ) ∣ ∣ ≤ L ∣ ∣ x − y ∣ ∣ ||f(x) - f(y)|| \leq L||x - y|| ∣∣f(x)−f(y)∣∣≤L∣∣x−y∣∣ 其中常数 L L L称为 f f f在区间 Q Q Q上的Lipschitz常数。

除了Lipschitz continuous之外，Lipschitz continuous gradient 和 Lipschitz continuous Hessian也是常用到的概念，它们都是由Lipschitz continuous概念延伸出来的。值得一提的是，很多论文中，尤其是关于凸优化的问题，Lipschitz continuous gradient的应用更为常见。

其中，如果函数 f f f满足Lipschitz continuous gradient，就意味着它的导数 f ′ f' f′满足Lipschitz continuous，即如果函数 f f f满足Lipschitz continuous gradient，则： ∣ ∣ f ′ ( x ) − f ′ ( y ) ∣ ∣ ≤ L ∣ ∣ x − y ∣ ∣ ||f'(x) - f'(y)|| \leq L||x - y|| ∣∣f′(x)−f′(y)∣∣≤L∣∣x−y∣∣

其中，如果函数 f f f满足Lipschitz continuous Hessian，就意味着它的二阶导数 f ′ ′ f'' f′′满足Lipschitz continuous，即如果函数 f f f满足Lipschitz continuous Hessian，则： ∣ ∣ f ′ ′ ( x ) − f ′ ′ ( y ) ∣ ∣ ≤ L ∣ ∣ x − y ∣ ∣ ||f''(x) - f''(y)|| \leq L||x - y|| ∣∣f′′(x)−f′′(y)∣∣≤L∣∣x−y∣∣

从上面的定义中可以看出，利普希茨连续限制了函数 f f f的局部变动幅度不能超过某常量。同样的道理，Lipschitz continuous gradient和Lipschitz continuous Hessian则限制了函数的导函数和二阶导函数的局部变化幅度。

1、如果函数 f f f符合Lipschitz continuous，根据上面的公式可以得到下面的不等式： { f ( y ) ≤ f ( x ) + L ∣ ∣ y − x ∣ ∣ f ( y ) ≥ f ( x ) − L ∣ ∣ y − x ∣ ∣ \left\{ \begin{aligned} f(y)&\leq f(x) + L||y - x||\\ f(y)&\geq f(x)- L||y - x|| \end{aligned} \right. {f(y)f(y)​≤f(x)+L∣∣y−x∣∣≥f(x)−L∣∣y−x∣∣​固定变量 x x x，不等式的右端即是一个一次的函数，即函数 f f f被一次函数上下逼近。

2、如果函数 f f f在 R n R^{n} Rn上满足Lipschitz continuous gradient，则对于任意 x , y ∈ R n x, y \in R^{n} x,y∈Rn有： ∣ f ( y ) − f ( x ) − < f ′ ( x ) , y − x > ∣ ≤ L / 2 ∣ ∣ y − x ∣ ∣ 2 |f(y) - f(x) - + L/2||y - x||^{2}\\ f(y)&\geq f(x) +