设为首页收藏本站
开启辅助访问

谱聚类（Spectral Clustering）算法介绍

 您所在的位置：网站首页 › kmeans归一化 › 谱聚类（Spectral Clustering）算法介绍

谱聚类（Spectral Clustering）算法介绍

2023-08-18 16:49| 来源: 网络整理| 查看: 265

一. 前言

本来想写关于聚类系列算法的介绍，但是聚类系列的其它几个算法原理比较简单，网上有大量的教程可以查阅。这里主要是介绍一下谱聚类算法，做一个学习笔记，同时也希望对想要了解该算法的朋友有一个帮助。关于聚类的其他系列算法，这里推荐一个写的很不错的博客。

谱聚类在最近几年变得受欢迎起来，主要原因就是它实现简单，聚类效果经常优于传统的聚类算法（如K-Means算法）。刚开始学习谱聚类的时候，给人的感觉就是这个算法看上去很难，但是当真正的深入了解这个算法的时候，其实它的原理并不难，但是理解该算法还是需要一定的数学基础的。如果掌握了谱聚类算法，会对矩阵分析，图论和降维中的主成分分析等有更加深入的理解。

本文首先会简单介绍一下谱聚类的简单过程，然后再一步步的分解这些过程中的细节以及再这些过程中谱聚类是如何实现的，接着总结一下谱聚类的几个算法，再接着介绍谱聚类算法是如何用图论知识来描述，最后对本文做一个总结。下面我们就来介绍一下谱聚类的基本原理。

二. 谱聚类的基本原理介绍 2.1 谱和谱聚类

2.1.1 谱 方阵作为线性算子，它的所有特征值的全体统称为方阵的谱。方阵的谱半径为最大的特征值。矩阵A的谱半径是矩阵A^TA的最大特征值。

2.1.2 谱聚类 谱聚类是一种基于图论的聚类方法，通过对样本数据的拉普拉斯矩阵的特征向量进行聚类，从而达到对样本数据聚类的目的。谱聚类可以理解为将高维空间的数据映射到低维，然后在低维空间用其它聚类算法（如KMeans）进行聚类。

2.2 谱聚类算法简单描述

输入：n个样本点X=\left \{ x{_{1}},x{_{2}},...,x{_{n}} \right \}和聚类簇的数目k；

输出：聚类簇A{_{1}},A{_{2}},...,A{_{k}}

（1）使用下面公式计算n*n的相似度矩阵W；

                                 s{_{ij}}=s(x{_{i}},x{_{j}})=\sum_{i=1,j=1}^{n}exp\frac{-||x{_{i}}-x{_{j}}||^2}{2\sigma ^2}

W为s{_{ij}}组成的相似度矩阵。

（2）使用下面公式计算度矩阵D；

                              d{_{i}}=\sum_{j=1}^{n}w{_{ij}}  ，即相似度矩阵W的每一行元素之和

D为d{_{i}}组成的n*n对角矩阵。

（3）计算拉普拉斯矩阵L=D-W；

（4）计算L的特征值，将特征值从小到大排序，取前k个特征值，并计算前k个特征值的特征向量u{_{1}},u{_{2}},...,u{_{k}}；

（5）将上面的k个列向量组成矩阵U=\left \{ u{_{1}},u{_{2}},...,u{_{k}} \right \}，U\in R^{n*k}；

（6）令y{_{i}}\in R^k是的第i行的向量，其中i=1,2,...,n；

（7）使用k-means算法将新样本点Y=\left \{ y{_{1}},y{_{2}},...,y{_{n}} \right \}聚类成簇C{_{1}},C{_{2}},...,C{_{k}}；

（8）输出簇A{_{1}},A{_{2}},...,A{_{k}}，其中，A{_{i}}=\left \{ j|y{_{j}} \in C{_{i}}\right \}.

上面就是未标准化的谱聚类算法的描述。也就是先根据样本点计算相似度矩阵，然后计算度矩阵和拉普拉斯矩阵，接着计算拉普拉斯矩阵前k个特征值对应的特征向量，最后将这k个特征值对应的特征向量组成n*k的矩阵U，U的每一行成为一个新生成的样本点，对这些新生成的样本点进行k-means聚类，聚成k类，最后输出聚类的结果。这就是谱聚类算法的基本思想。相比较PCA降维中取前k大的特征值对应的特征向量，这里取得是前k小的特征值对应的特征向量。但是上述的谱聚类算法并不是最优的，接下来我们一步一步的分解上面的步骤，总结一下在此基础上进行优化的谱聚类的版本。

2.3 谱聚类算法中的重要属性 2.3.1 相似度矩阵介绍

相似度矩阵就是样本点中的任意两个点之间的距离度量，在聚类算法中可以表示为距离近的点它们之间的相似度比较高，而距离较远的点它们的相似度比较低，甚至可以忽略。这里用三种方式表示相似度矩阵：一是\epsilon-近邻法（\epsilon-neighborhood graph），二是k近邻法（k-nearest nerghbor graph），三是全连接法（fully connected graph）。下面我们来介绍这三种方法。

（1）-neighborhood graph：

                                  s{_{ij}}=||x{_{i}}-x{_{j}}||^2 ，表示样本点中任意两点之间的欧式距离

用此方法构造的相似度矩阵表示如下：

                                  W{_{ij}}=\begin{cases} 0& \text{ if } s{_{ij}}\epsilon \\ \epsilon & \text{ if } s{_{ij}}\leq \epsilon \end{cases}

该相似度矩阵由于距离近的点的距离表示为\epsilon，距离远的点距离表示为0，矩阵种没有携带关于数据集的太多的信息，所以该方法一般很少使用，在sklearn中也没有使用该方法。

（2）k-nearest nerghbor graph：

由于每个样本点的k个近邻可能不是完全相同的，所以用此方法构造的相似度矩阵并不是对称的。因此，这里使用两种方式表示对称的knn相似度矩阵，第一种方式是如果v{_{i}}在v{_{j}}的k个领域中或者v{_{j}}在v{_{i}}的k个领域中，则w{_{ij}}=w{_{ji}}为v{_{i}}与v{_{j}}之间的距离，否则为w{_{ij}}=w{_{ji}}=0；第二种方式是如果v{_{i}}在v{_{j}}的k个领域中并且v{_{j}}在v{_{i}}的k个领域中，则w{_{ij}}=w{_{ji}}为v{_{i}}与v{_{j}}之间的距离，否则为w{_{ij}}=w{_{ji}}=0。很显然第二种方式比第一种方式生成的相似度矩阵要稀疏。这两种方式用公式表达如下：

第一种方式：

                       W{_{ij}}=W{_{ji}}=\begin{cases} 0 & \text{ if } x{_{i}} \notin KNN(x{_{j}})\&x{_{j}} \in KNN(x{_{i}}) \\ exp(-\frac{||x{_{i}}-x{_{j}}||^2}{2\sigma ^2}) & \text{ if } x{_{i}} \in KNN(x{_{j}}) |x{_{j}} \in KNN(x{_{i}}) \\ \end{cases}

第二种方式：

                      W{_{ij}}=W{_{ji}}=\begin{cases} 0 & \text{ if } x{_{i}} \notin KNN(x{_{j}})|x{_{j}} \notin KNN(x{_{i}}) \\ exp(-\frac{||x{_{i}}-x{_{j}}||^2}{2\sigma ^2}) & \text{ if } x{_{i}} \in KNN(x{_{j}}) \& x{_{j}} \in KNN(x{_{i}}) \\ \end{cases}

（3）fully connected graph:

该方法就是在算法描述中的高斯相似度方法，公式如下：

                     W{_{ij}}=W{_{ji}}=\sum_{i=1,j=1}^{n}exp\frac{-||x{_{i}}-x{_{j}}||^2}{2\sigma ^2}

该方法也是最常用的方法，在sklearn中默认的也是该方法，表示任意两个样本点都有相似度，但是距离较远的样本点之间相似度较低，甚至可以忽略。这里面的参数控制着样本点的邻域宽度，即越大表示样本点与距离较远的样本点的相似度越大，反之亦然。

2.3.2 拉普拉斯矩阵介绍

对于谱聚类来说最重要的工具就是拉普拉斯矩阵了，下面我们来介绍拉普拉斯矩阵的三种表示方法。

（1）未标准化的拉普拉斯矩阵：

未标准化的拉普拉斯矩阵定义如下：

                   L=D-W

其中W是上节所说的相似度矩阵，D是度矩阵，在算法描述中有介绍。很显然，W与D都是对称矩阵。

未标准化的拉普拉斯矩阵L满足下面几个性质：

（a）对任意一个向量f(f \in R^n)都有：

                  f^TLf=\frac{1}{2} \sum_{i,j=1}^{n}w{_{ij}}(f{_{i}}-f{_{j}})^2

证明如下：

               f^TLf=f^TDf-f^TWf=\sum_{i=1}^{n}d{_{i}}f{_{i}}^2-\sum_{i,j=1}^{n}f{_{i}}f{_{j}}w{_{ij}}

（b）L是对称的和半正定的，证明如下：

因为w{_{ij}}\geq 0，所以f^TLf\geq 0，所以为半正定矩阵。由于W和D都是对称矩阵，所以L为对称矩阵。

（c）L最小的特征值为0，且特征值0所对应的特征向量为全1向量，证明如下：

令\bar{1}表示n*1的全1向量，则

               L\cdot \bar{1}=(D-W)\cdot \bar{1}=D\cdot \bar{1}-W\cdot \bar{1}=0\cdot \bar{1}

由D和W的定义可以得出上式。

（d）L有n个非负的实数特征值：0=\lambda{_{1}}\leq \lambda{_{2}}\leq ...\leq \lambda{_{n}}

（2）标准化拉普拉斯矩阵

标准化拉普拉斯矩阵有两种表示方法，一是基于随机游走（Random Walk）的标准化拉普拉斯矩阵L{_{rw}}和对称标准化拉普拉斯矩阵L{_{sym}}，定义如下：

              L{_{rw}}=D^{-1}L=I-D^{-1}W

              L{_{sym}}=D^{-1/2}LD^{-1/2}=I-D^{-1/2}WD^{-1/2}

标准化的拉普拉斯矩阵满足如下性质：

（a）对任意一个向量f(f \in R^n)都有：

             f^TL{_{rw}}f=f^TL{_{sym}}f=\frac{1}{2}\sum_{i,j=1}^{n}w{_{ij}}(\frac{f{_{i}}}{\sqrt{d{_{i}}}}-\frac{f{_{j}}}{\sqrt{d{_{j}}}})^2

（b）当且仅当\lambda是L{_{sym}}的特征值，对应的特征向量为w=D^{1/2}u时，则\lambda是L{_{rw}}特征值，对应的特征向量为u；

（c）当且仅当Lu=\lambda Du时，\lambda是L{_{rw}}的特征值，对应的特征向量为u；

（d）0是L{_{rw}}的特征值，对应的特征向量为\bar{1}，\bar{1}为n*1的全1向量；0也是L{_{sym}}的特征值，对应的特征向量为D^{1/2}\bar{1}；

（e）L{_{sym}}和L{_{rw}}是半正定矩阵并且有非负实数特征值：.0=\lambda{_{1}}\leq \lambda{_{2}} \leq ...\leq \lambda{_{n}}

关于各个版本的谱聚类算法的不同之处，就是在于相似度矩阵的计算方式不同和拉普拉斯矩阵的表示方法不同，其它步骤基本相同。下面就来介绍关于谱聚类的两个比较流行的标准化算法。

2.4 标准化谱聚类算法介绍 2.4.1 随机游走拉普拉斯矩阵的谱聚类算法描述

输入：n个样本点X=\left \{ x{_{1}},x{_{2}},...,x{_{n}} \right \}和聚类簇的数目k；

输出：聚类簇A{_{1}},A{_{2}},...,A{_{k}}

（1）计算n*n的相似度矩阵W；

（2）计算度矩阵D；

（3）计算拉普拉斯矩阵{\color{Red} L{_{rw}}=D^{-1}L=D^{-1}(D-W)}；

（4）计算L{_{rw}}的特征值，将特征值从小到大排序，取前k个特征值，并计算前k个特征值的特征向量u{_{1}},u{_{2}},...,u{_{k}}；

（5）将上面的k个列向量组成矩阵U=\left \{ u{_{1}},u{_{2}},...,u{_{k}} \right \}，U\in R^{n*k}；

（6）令y{_{i}}\in R^k是U的第i行的向量，其中i=1,2,...,n；

（7）使用k-means算法将新样本点Y=\left \{ y{_{1}},y{_{2}},...,y{_{n}} \right \}聚类成簇C{_{1}},C{_{2}},...,C{_{k}}；

（8）输出簇A{_{1}},A{_{2}},...,A{_{k}}，其中，.A{_{i}}=\left \{ j|y{_{j}} \in C{_{i}}\right \}

2.4.2 对称拉普拉斯矩阵的谱聚类算法描述

输入：n个样本点X=\left \{ x{_{1}},x{_{2}},...,x{_{n}} \right \}和聚类簇的数目k；

输出：聚类簇A{_{1}},A{_{2}},...,A{_{k}}

（1）计算n*n的相似度矩阵W；

（2）计算度矩阵D；

（3）计算拉普拉斯矩阵{\color{Red} L{_{rsym}}=D^{-1/2}LD^{-1/2}=D^{-1/2}(D-W)D^{-1/2}}；

（4）计算L{_{rw}}的特征值，将特征值从小到大排序，取前k个特征值，并计算前k个特征值的特征向量u{_{1}},u{_{2}},...,u{_{k}}；

（5）将上面的k个列向量组成矩阵U=\left \{ u{_{1}},u{_{2}},...,u{_{k}} \right \}，U\in R^{n*k}；

（6）令y{_{i}}\in R^k是U的第i行的向量，其中i=1,2,...,n；

（7）对于{\color{Red} i=1,2,...,n}，将{\color{Red} y{_{i}}\in R^k}依次单位化，使得{\color{Red} |y{_{i}}|=1}；

（8）使用k-means算法将新样本点Y=\left \{ y{_{1}},y{_{2}},...,y{_{n}} \right \}聚类成簇C{_{1}},C{_{2}},...,C{_{k}}；

（9）输出簇A{_{1}},A{_{2}},...,A{_{k}}，其中A{_{i}}=\left \{ j|y{_{j}} \in C{_{i}}\right \}，.

上面两个标准化拉普拉斯算法加上未标准化拉普拉斯算法这三个算法中，主要用到的技巧是将原始样本点x{_{i}}转化为新的样本点y{_{i}}，然后再对新样本点使用其它的聚类算法进行聚类，在这里最后一步用到的聚类算法不一定非要是KMeans算法，也可以是其它的聚类算法，具体根据实际情况而定。在sklearn中默认是使用KMeans算法，但是由于KMeans聚类对初始聚类中心的选择比较敏感，从而导致KMeans算法不稳定，进而导致谱聚类算法不稳定，所以在sklearn中有另外一个可选项是'discretize'，该算法对初始聚类中心的选择不敏感。

三. 用切图的观点来解释谱聚类

聚类算法给我们的直观上的感觉就是根据样本点的相似性将他们划分成不同的组，使得在相同组内的数据点是相似的，不同组之间的数据点是不相似的。对于给定的样本点计算相似度，形成相似度图，因而谱聚类的问题可以被重新描述如下：我们想要找到图形的一个分区，使得不同分区之间的边具有非常低的权重（这意味着不同分区中的点彼此不相似）并且分区内的边具有高权重（这意味着其中的点彼此相似）。在这个小节我们将讨论如何推导谱聚类为近似的图分区的问题。

3.1 最小切（mincut）

对于无向图G，我们的目标是将图G(V,E)切成互相没有连接的子图，每个子图点的集合为A{_{1}},A{_{2}},...,A{_{k}}，其中A{_{i}}\cap A{_{j}}=\o且A{_{1}} \cup A{_{2}} \cup ...\cup A{_{k}}=V。

对于任意两个子图点的集合A,B\subset V，A\cap B=\o，我们定义A和B之间的权重切图为：

                      W(A,B)=\sum_{i\in A,j\in B}w{_{ij}}

对于k个子图集合A{_{1}},A{_{2}},...,A{_{k}}，我们定义切图cut为：

                      cut(A{_{1}},A{_{2}},...,A{_{k}})=\frac{1}{2}\sum_{i=1}^{k}W(A{_{i}},\bar{A{_{i}}})

其中，\bar{A}为A的补集。

我们可以想到的切图方法就是最小化上式，也就是使各个组之间的权重尽可能的小，但是在许多情况下mincut只是简单的将图中的一个定点与其余的顶点分开，在并不是我们想要的结果，合理的切分结果应该是组内的样本点尽可能的多。所以mincut在实际中并不常用。下面我们介绍另外两个切图方式RatioCut和Ncut。

3.2 RatioCut切图

在RatioCut切图中，不仅要考虑使不同组之间的权重最小化，也考虑了使每个组中的样本点尽量多。

     定义|A|为子集A中的顶点个数，RatioCut的表达式如下：

                    RatioCut(A{_{1}},A{_{2}},...,A{_{k}})=\frac{1}{2}\sum_{i=1}^{k}\frac{W(A{_{i}},\bar{A{_{i}}})}{|A{_{i}}|}=\sum_{i=1}^{k}\frac{cut(A{_{i}},\bar{A{_{i}}})}{|A{_{i}}|}

将图中顶点V分成k个分区A{_{1}},A{_{2}},...,A{_{k}}，我们定义指示向量为：h{_{j}}=(h{_{1,j}},...,h{_{nj}})^T，其中：

                                   

我们令H \in R^{n*k}为包含k个指示向量作为列向量的矩阵，注意到H的列向量彼此正交，即H^TH=I，然后我们计算下式：

          h{_{i}}^TLh{_{i}}=\frac{cut(A{_{i}},\bar{A{_{i}}})}{|A{_{i}}|}=(H^TLH){_{ii}}        ，证明如下：

                      

结合上面可以得到：

                RatioCut(A{_{1}},...,A{_{k}})=\sum_{i=1}^{k}h^T{_{i}}Lh{_{i}}=\sum_{i=1}^{k}(H^TLH){_{ii}}=Tr(H^TLH)

其中Tr(A)表示矩阵A的迹，也就是矩阵A的对角线之和。

所以我们此时的目标函数成为：

                \underset{A{_{1}},...,A{_{k}}}{min}Tr(H^TLH)，约束条件为：H^TH=I

注意到我们H矩阵里面的每一个指示向量都是n维的，向量中每个变量的取值为0或者\frac{1}{\sqrt{|A{_{j}}|}}，就有2^n种取值，有k个子图的话就有k个指示向量，共有k2^n种H，因此找到满足上面优化目标的H是一个NP难的问题。那么是不是就没有办法了呢？

注意观察Tr(H^TLH)中每一个优化子目标h^T{_{i}}Lh{_{i}}，其中是h^T{_{i}}Lh{_{i}}单位正交基， L为对称矩阵。在PCA中，我们的目标是找到协方差矩阵（对应此处的拉普拉斯矩阵L）的最大的特征值，而在我们的谱聚类中，我们的目标是找到目标的最小的特征值，得到对应的特征向量，此时对应二分切图效果最佳。也就是说，我们这里要用到维度规约的思想来近似去解决这个NP难的问题。

         对于h^T{_{i}}Lh{_{i}}，我们的目标是找到最小的L的特征值，而对于Tr(H^TLH)=\sum_{i=1}^{k}h^T{_{i}}Lh{_{i}}，则我们的目标就是找到k个最小的特征值，一般来说，k远远小于n，也就是说，此时我们进行了维度规约，将维度从n降到了k，从而近似可以解决这个NP难的问题。                   

通过找到L的最小的k个特征值，可以得到对应的k个特征向量，这k个特征向量组成一个nxk维度的矩阵，即为我们的H。一般需要对H矩阵按行做标准化，即

                     h^*{_{ij}}=\frac{h{_{ij}}}{(\sum_{t=1}^{k}h^2{_{it}})^{1/2}}

由于我们在使用维度规约的时候损失了少量信息，导致得到的优化后的指示向量h对应的H现在不能完全指示各样本的归属，因此一般在得到nxk维度的矩阵H后还需要对每一行进行一次传统的聚类，比如使用K-Means聚类。

3.3 Ncut切图

Ncut在最小化损失函数之外，还考虑了子图之间的权重大小。Ncut切图与Ratiocut类似，只是把RatioCut分母中|A{_{i}}|的替换成了vol(A{_{i}})，其中：

                   vol(A{_{i}})=\sum_{ i\in A}d{_{i}}

由于子图样本的个数多并不一定权重就大，我们切图时基于权重也更合我们的目标，因此一般来说Ncut切图优于RatioCut切图。所以Ncut的目标函数如下：

               vol(A{_{i}})=\sum_{ i\in A}d{_{i}}  ，证明同上

在Ncut中使用子图权重\frac{1}{\sqrt{vol(A{_{j}})}}来表示指示向量h，定义如下：

                h{_{ji}}=\begin{cases} 0 & \text{ if } v{_{i}}\notin A{_{j}} \\ \frac{1}{\sqrt{vol(A{_{j}})}}& \text{ if } v{_{i}}\in A{_{j}} \end{cases}

我们的优化目标函数是：

               Ncut(A{_{1}},...,A{_{k}})=\sum_{i=1}^{k}h^T{_{i}}Lh{_{i}}=\sum_{i=1}^{k}(H^TLH){_{ii}}=Tr(H^TLH)

          但是此时我们的H^TH\neq I，而是H^TDH=I。推导如下：

                          H^TDH=\sum_{i=1}^{k}h^2{_{ij}}d{_{j}}=\frac{1}{vol(A{_{i}})}\sum_{v{_{j}}\in A{_{i}}}w{_{v{_{j}}}}=\frac{1}{vol(A{_{i}})}vol(A{_{i}})=1

也就是说，此时我们的优化目标最终为：

                   \underset{A{_{1}},...,A{_{k}}}{min}Tr(H^TLH)    约束条件： H^TDH=I

令T=D^{-1/2}H，则问题变成如下形式：

                 \underset{T\in R^{n*k}}{min}Tr(T^TD^{-1/2}LD^{-1/2}T)   约束条件为：T^TT=I

可以发现这个式子和RatioCut基本一致，只是中间的L变成了D^{-1/2}LD^{-1/2}。这样我们就可以继续按照RatioCut的思想，求出D^{-1/2}LD^{-1/2}的最小的前k个特征值，然后求出对应的特征向量，并标准化，得到最后的特征矩阵T,最后对T进行一次传统的聚类（比如K-Means）即可。

一般来说，D^{-1/2}LD^{-1/2}相当于对拉普拉斯矩阵L做了一次标准化，即\frac{L{_{ij}}}{\sqrt{d{_{i}}*d{_{j}}}}，所以Ncut会产生标准化的谱聚类，而RatioCut会产生未标准化的谱聚类。

四. 谱聚类算法的优缺点 4.1 优点

（1）当聚类的类别个数较小的时候，谱聚类的效果会很好，但是当聚类的类别个数较大的时候，则不建议使用谱聚类；

（2）谱聚类算法使用了降维的技术，所以更加适用于高维数据的聚类；

（3）谱聚类只需要数据之间的相似度矩阵，因此对于处理稀疏数据的聚类很有效。这点传统聚类算法（比如K-Means）很难做到

（4）谱聚类算法建立在谱图理论基础上，与传统的聚类算法相比，它具有能在任意形状的样本空间上聚类且收敛于全局最优解

4.2 缺点 （1）谱聚类对相似度图的改变和聚类参数的选择非常的敏感；

（2）谱聚类适用于均衡分类问题，即各簇之间点的个数相差不大，对于簇之间点个数相差悬殊的聚类问题，谱聚类则不适用；

五. 参考文献/博文 （1）A Tutorial on Spectral Clustering

（2）比较不错的博客 ---------------------  原文：https://blog.csdn.net/qq_24519677/article/details/82291867   



【本文地址】


今日新闻

推荐新闻

CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3