图卷积网络(Graph Convolutional Networks, GCN)详细介绍 |
您所在的位置:网站首页 › 卷积神经网络的优点和缺点是 › 图卷积网络(Graph Convolutional Networks, GCN)详细介绍 |
本文翻译自博客。 在这篇博文中会为大家详细地介绍目前使用广泛的图神经网络——图卷积网络(Graph Convolutional Networks, GCN)的相关知识。首先将带领大家直觉上感受其工作原理,然后再介绍更深层的数学原理。 为什么要使用图(Graph)?很多问题在本质是都可以表示为图的形式。在真实世界中,我们会发现很多数据其实是以图的形式存在的,比如分子网络,社交网络以及论文引用网络等等。 基于图的任务针对图数据,通常有以下几种比较常见的任务类型: 结点分类(Node classification):给定一个结点,预测其类型。链路预测(Link prediction):预测两个结点之间是否存在连接。社区检测(Community detection):确定具有紧密连接关系的结点簇。网络相似度(Network similarity):衡量两个网络或子网络之间的相似性。 机器学习工作流在图中,我们不仅有结点的特征(结点的数据),还有图的结构(结点之间是如何进行连接的)。 对于前者,我们很容易可以获得关于每一个结点的数据,但是对于后者,要抽取出关于网络结构的信息并非易事。 例如,如果两个结点相较其它结点更加相近,那我们是否应该以不同的方式来对待它们?对于具有很高或很低度(degree)的结点又应该如何处理? 事实上,每一个特定的任务在特征工程上,也即通过构造特征来表示结构信息,都是非常耗时耗力的事情。例如在下面的结点分类的任务中,特征的构造是一项具有技巧性的工作。 论文地址:Semi-supervised Classification with Graph Convolutional Networks GCN是一种能够直接作用于图并且利用其结构信息的卷积神经网络。 这篇文章解决的是在一个图中,只有少部分结点的标签是已知情况下(Semi-supervised learning)的结点分类问题。 正如GCN名字中的卷积所揭示的,该思想是由图像领域迁移到图领域的。然而图像通常具有固定的结构,而图的结构却更加灵活、复杂。 接下来进一步介绍GCN背后的数学原理。 首先我们需要确定一些符号: 对于给定的无向网络
G
=
(
V
,
E
)
G=(V,E)
G=(V,E),其中
V
V
V中包含网络中所有的
N
N
N个结点,
v
i
∈
V
v_i\isin V
vi∈V,
E
E
E代表结点之间的边
(
v
i
,
v
j
)
∈
E
(v_i,v_j)\isin E
(vi,vj)∈E,邻接矩阵
A
∈
R
N
×
N
A\isin R^{N\times N}
A∈RN×N中的元素可以为二进制编码也可以是权重实数;度矩阵
D
i
i
=
∑
j
A
i
j
D_{ii}=\sum_j A_{ij}
Dii=∑jAij;结点的特征向量矩阵为
X
∈
R
N
×
C
X\isin R^{N\times C}
X∈RN×C,其中
N
N
N为结点数,
C
C
C为特征向量的维数。 让我们考虑如下的一个图: 针对第一点问题,可以通过在
A
A
A的基础上加上一个单位阵得到新的邻接矩阵
A
~
\tilde A
A~
A
~
=
A
+
λ
I
N
\tilde{A}=A+\lambda I_N
A~=A+λIN 当
λ
\lambda
λ的取值为1时,意味着结点本身特征的重要性与其邻居的重要性一样,此时有
A
~
=
A
+
I
N
\tilde{A}=A+ I_N
A~=A+IN。需要注意的是,
λ
\lambda
λ本身是一个可以由训练得到的参数,但是为了方便,本文将其取值定为1。 网络的层数代表着结点特征所能到达的最远距离。比如一层的GCN,每个结点只能得到其一阶邻居身上的信息。对于所有结点来说,信息获取的过程是独立、同时开展的。当我们在一层GCN上再堆一层时,就可以重复收集邻居信息的过程,并且收集到的邻居信息中已经包含了这些邻居结点在上一个阶段所收集的他们的邻居结点的信息。这就使得GCN的网络层数也就是每个结点的信息所能达到的maximum number of hops。因此,我们所设定的层的数目取决于我们想要使得结点的信息在网络中传递多远的距离。需要注意的是,通常我们不会需要结点的信息传播太远。经过6~7个hops,基本上就可以使结点的信息传播到整个网络,这也使得聚合不那么有意义。 我们所使用的GCN应该有多少层?在文章中,作者对于深层GCNs和浅层GCNs的效果开展了一些实验,由图可以看到,2~3层的网络应该是比较好的。当GCN达到7层时,效果已经变得较差,但是通过加上residual connections between hidden layers可以使效果变好。 **注意:**本文所提出的框架目前仅适用于有权或无权的无向图。然后有向图是可以通过添加额外的结点转化为无相图的。 |
今日新闻 |
推荐新闻 |
CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3 |