大家好呀~！学校里面的事情终于忙得差不多了，终于有时间继续更了《泛函分析与最优化》了~

在上一节学习笔记(II)|泛函分析与最优化——赋范线性空间中，主要介绍了赋范线性空间，本节将在赋范线性空间中引入Cauchy列，形成完备的赋范线性空间，即Banach空间。

定义1（Cauchy列，Cauchy sequence）：设 X 是一赋范线性空间， \{x_n\} 是其中一个序列。若对 \forall \varepsilon>0 ，都 \exists N \in \mathbb{N}^+，使得当 m,n>N 时，有 \|x_m-x_n\|\forall \varepsilon >0, \exists N \in \mathbb{N}^+ 使得当 m,n>N 时，有 \|x_m-x_n\| = \ \|x_m-x^* - (x_n-x^*)\| \le \|x_m-x^*\| + \|x_n-x^*\| < \varepsilon.\\ 证毕。

注2：Cauchy列不一定收敛，反例如下。

例1：设 X 是由有限非零序列 x=(\xi_1,\xi_2,\cdots,\xi_n,0,\cdots,0)^\top 构成的向量空间，其元素的范数定义为 \|x\| = \max_i |\xi_i|.\\ 现取序列 x_n = (1,\frac{1}{2},\frac{1}{3},\cdots,\frac{1}{n},0,\cdots,0)^\top ，易得 \|x_m-x_n\| = \max(\frac{1}{m},\frac{1}{n}) \to 0，\\ 当 m,n \to \infty 时。故 \{x_n\} 是一Cauchy列，但 \{x_n\} 在 X 中不收敛于任何有限非零序列。

注3：凡Cauchy列都有界。

定义2（Banach空间，Banach space）：设 X 是一赋范线性空间。若其中每一个Cauchy列都在 X 中收敛，则称 X 是完备的赋范线性空间，即Banach空间。

最简单且最基础的Banach空间是由全体实数构成的线性空间，范数定义为实数的绝对值。在给出证明之前，我们先回顾数学分析中Bolzano-Weierstrass定理。

引理1（Bolzano-Weierstrass定理)：在实数域中，凡有界无穷序列必存在收敛子列。

例2：一维Euclid空间 E^1 是完备的。

例3： n 维Euclid空间 E^n 是完备的。

例4： C[a,b] 是Banach空间。

例5： \ell_p(1\le p\le \infty) 是Banach空间。

下面我们给出完备性和紧性的定义及相关关系。

定义3（完备子集，complete subsets）：设 X 是一赋范线性空间， S\subset X 是一子集。若任意 S 中的一个Cauchy列 \{x_n\} 都收敛于 S ，则称 S 是 X 中的一个完备子集。

命题1：在Banach空间中，一个子集是完备的，当且仅当它是闭的。

命题2：在赋范线性空间中，任一有限维子空间都是完备的。

定义4（紧集，compact)：设 X 是一赋范线性空间， K\subset X 是 X 的一子集。若对 K 中任意一个序 \{x_n\} ，都存在一个收敛到某个向量 x^* \in K 的子列 \{x_{n_k}\} ，则称 K 为一个紧集。

在有限维赋范线性空间中，紧性与有界闭性等价。著名的Weierstrass定理：定义在有界闭集上的连续函数必存在最值。下面我们将这一结果推广到赋范线性空间的紧集上，并放松连续性的要求，从而得到一个能应用到无穷维空间中的简单而又具有一般性的结果。在此之前，我们先给出(实)泛函上（下）半连续的定义。

定义5（下半连续，lower semicontinuity）：设 X 是一赋范线性空间， f 是 X 上的实值泛函。若 \forall \varepsilon>0, \exists\delta>0 ，使得当 \|x-x_0\| < \delta 时，有 f(x) > f(x_0) - \varepsilon ，则称 f 在 x_0 处下半连续。如果 -f 在 x_0 处下半连续，则称 f 在 x_0 处上半连续。

依定义，我们知道当 f 在 x_0 处既上半连续又下半连续时，则 f 在 x_0 处连续。

注4： f 在 x_0 处下半连续，等价于 \liminf_{x\to x_0} f(x) \ge f(x_0).\\

注5：根据 Rockafellar的《Variational Analysis》有如下结果成立\begin{aligned} \liminf_{x\to x_0}f(x) & :=\min\left\{\alpha \vert \exists \{x_n \} \to x_0, \lim_{n\to \infty}f(x_n) = \alpha \right\} \\ & = \lim_{\delta \to 0^+}\left[\inf_{x \in N_\delta(x_0)}f(x)\right] \\ & = \sup_{\delta>0} \left[\inf_{x \in N_\delta(x_0)}f(x)\right] \\ &= \sup_{V\subset N(x_0)} \left[\inf_{x\in V} f(x)\right].\end{aligned}\\

定理1（广义Weierstrass极值定理）：设 X 是一个附范线性空间， K\subset X 是一个紧集，实泛函 f 在 K 上是下（上）半连续的，则 f 在 K 上必可达到极小（大）值。

此外还有商空间、稠密性、可分性等概念，这里暂时跳过，后面有需要再补充更新。

本节主要介绍了Banach空间，完备子集、紧集、下半连续等概念。在最后我们给出广义Weierstrass定理，这里其实已经开始过渡到讨论最优化问题了。在下一节，我们将引入“角度”的概念，介绍内积空间和Hilbert 空间（Hilbert space）。