【图神经网络】 实际应用场景

您所在的位置:网站首页 图像识别的应用场景有哪些类型 【图神经网络】 实际应用场景

【图神经网络】 实际应用场景

2023-10-18 09:29| 来源: 网络整理| 查看: 265

GNN有许多跨不同任务和领域的应用。尽管通用任务可以由每个类别的GNN直接进行处理,包括节点分类、图像分类、网络嵌入图形生成和时空图预测,其他一般的与图数据相关的任务(如节点集群,链接预测和图分区等),也可以通过GNN来实现。下面详细介绍了基于以下研究领域的一些应用。 1.3.1 计算机视觉:

GNN在计算机视觉中的应用包括场景图生成、点云分类和动作识别。

场景图生成:

在这里插入图片描述 使用GNN识别物体之间的语义关系有助于理解视觉场景背后的意义。场景图生成模型的目的是将图像解析为由对象及其语义关系组成的语义图。另一个应用是通过生成给定场景图的真实图像来逆过程。由于自然语言可以被解析为语义图,其中每个词代表一个对象,因此将文本描述的图像合成是一种很有前途的解决方案。

点云分类:

在这里插入图片描述

分类和分割点云主要指的是使激光雷达设备“看到”周围的环境。点云是激光雷达扫描记录的一组三维点。一些研究将点云转化为k-近邻图或超点图,并利用图卷积神经网络来研究拓扑结构。

视频动作识别:

在这里插入图片描述

识别视频中包含的人类动作有助于从机器角度更好地理解视频内容。一些解决方案检测视频剪辑中人体关节的位置。人的关节是由骨骼连接起来的,自然形成一个图形。已知人类关节位置的时间序列,那就可以利用STGNNs等模型来学习人类动作模式。

此外,GNN在计算机视觉中的应用方向还在不断增加。它包括人-物交互、小样本图像分类、语义分割、视觉推理、问题回答等。 1.3.2 自然语言处理:

GNNs在自然语言处理中的一个常见应用是文本分类,即利用文档或单词之间的相互关系来推断文档标签。

在这里插入图片描述

尽管自然语言数据显示的是 时序数据,但它们也可能包含一个内部图结构,比如一个语法依赖树。句法依赖树定义句子中词之间的句法关系。因此Marcheggiani等人提出了基于CNN/RNN句子编码器的Syntactic GCN。

Syntactic GCN根据句子的句法依赖树聚合隐藏的词表示。Bastings等将Syntactic GCN应用到神经机器翻译任务中。Marcheggiani等人进一步采用与Bastings等人相同的模型来处理句子的语义依赖图。

在这里插入图片描述

GNN也可以通过图到序列学习,来生成具有相同意义的句子,并给出一个抽象词的语义图(称为抽象意义表示)。Song等人提出了一种Graph-LSTM来编码图形级语义信息。Beck等将GGNN应用于图序列学习和神经机器翻译。相反的任务是序列到图学习。给定一个句子生成一个语义图或知识图在知识发现中非常有用。 1.3.3 智能交通:

在这里插入图片描述

在智能交通系统中,准确预测交通网络中的交通速度、交通量或道路密度是至关重要的。

有的研究者使用STGNNs解决流量预测问题。他们认为交通网络是一个时空图,其中节点是安装在道路上的传感器,通过对节点之间的距离来测量边缘,每个节点以一个窗口内的平均交通速度作为动态输入特征。

另一个工业级应用是出租车需求预测。根据历史出租车需求、位置信息、天气数据和事件特征,Yao等将LSTM、CNN和LINE训练的网络嵌入结合在一起,形成对每个位置的联合表示,从而预测某一时段内某一位置的出租车需求数量。 1.3.4 推荐系统:

在这里插入图片描述

基于图神经网络的推荐系统以项目和用户为节点。通过利用项目与项目、用户与用户、用户与项目以及内容信息之间的关系,基于图的推荐系统能够产生高质量的推荐。

推荐系统的关键是给用户打分。因此,可以将其转换为一个链接预测问题。为了预测用户和物品之间缺失的链接,Van等人和Ying等人提出了一种使用ConvGNNs作为编码器的GAE。Monti等人将RNNs与图形卷积相结合,以学习生成已知评级的底层过程。 1.3.5 化学领域:

在这里插入图片描述

在化学领域,研究人员应用GNNs来研究分子/化合物的图形结构。在分子/化合物图中,原子被认为是节点,化学键被认为是边,因此GNN可用于分子指纹、预测分子性质、推断蛋白界面、合成化合。即节点分类、图分类和图生成是针对分子/化合物图的三大主要任务。 1.3.6 其他应用:

GNNs的应用并不局限于上述领域和任务。将GNNs应用于程序验证、程序推理、社会影响预测、对抗攻击预防、电子健康记录建模、脑网络、事件检测、组合优化等问题已经进行了探索。 2. 研究方向:

虽然GNN已经证明了它们在学习图数据方面的能力,但由于图的复杂性,挑战仍然存在。本节提出了GNNs未来的四个方向。 2.1 模型深度:

深度学习的成功在于深度神经结构。然而,Li等人表明,随着图卷积层数量的增加,ConvGNN的性能急剧下降。由于图卷积将相邻节点的表示法推得更近,理论上,在无限个图卷积层的情况下,所有节点的表示法都将收敛于一个单点。这就提出了一个问题:对于学习图数据来说,加深模型层数是否仍然是一个好的策略。 2.2 可扩展性的权衡:

获得了GNN的可扩展性通常要以破坏图的完整性为代价。无论是使用抽样还是聚类,模型都会丢失部分图的信息。通过抽样,一个节点可能会错过它的有影响的邻居。通过聚类,一个图可能被剥夺了一个独特的结构模式。如何在算法的可扩展性和图的完整性之间进行权衡是未来的研究方向。 2.3 异质性:

目前大多数GNN都采用齐次图。当前的GNN很难直接应用到异构图中,因为异构图中可能包含不同类型的节点和边,也可能包含不同形式的节点和边输入,如图像和文本。因此,需要开发新的方法来处理异构图。 2.4 动态性:

图本质上是动态的,节点或边可能会出现或消失,节点/边的输入可能会随着时间而改变。为了适应图的动态性,需要对图进行新的卷积。虽然STGNN可以部分解决图的动态性问题,但很少有人考虑如何在动态空间关系的情况下进行图的卷积。

https://blog.csdn.net/weixin_44936889/article/details/107764037



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3