团队成员关于图卷积模型的研究取得新进展,相关成果发表在WWW上
近期,我院在图卷积模型领域取得了新的研究进展,相关成果已在2024年ACM Web Conference(WWW 2024)上发布。WWW会议是人工智能领域的重要学术会议,被中国计算机学会评定为A类学术会议(CCF-A)。本届WWW会议的论文接收率约为20.2%。
论文“Cross-Space Adaptive Filter: Integrating Graph Topology and Node Attributes for Alleviating the Over-smoothing Problem” 已被选入WWW 2024。该论文由四川大学、清华大学和范德堡大学合作完成。其中,我院2021级博士研究生黄晨为第一作者,雷文强教授为通讯作者。该研究提出了一种跨空间自适应滤波器,能够从图拓扑空间和节点属性空间中提取不同频率的信息。这一方法有效缓解了当前图卷积网络中存在的过度平滑问题,并提升了模型在下游任务中的表现效果。
论文概要:传统的图卷积网络(Graph Convolutional Network,GCN)利用低通滤波器(Low-pass Filter)从图拓扑中提取低频信号。然而,随着GCN层数的增加,图中节点的嵌入表征会变得相似,从而影响下游应用的效果(如节点分类任务)。这一问题被称为GCN的过度平滑问题(Over-smoothing Problem)。为了解决这一问题,当前研究提出了多种方法,旨在引入额外的滤波器(如高通滤波器),并将其与GCN中的低通滤波器相结合,以创建自适应滤波器(Adaptive Filter)。然而,这些方法往往过于依赖图拓扑信息,忽视了节点属性信息,从而牺牲了深层GCN(Deep GCN)的表达能力,尤其是在处理异配图(Disassortative Graphs)时。本文提出了一种跨空间自适应滤波器(Cross-space Adaptive Filter,CSF),旨在同时从图拓扑空间和节点属性空间提取自适应的频率信息。具体而言,在本文中,首先推导了一种针对节点属性的高通滤波器,可被理解为半监督核岭回归的最小化器(Minimizer for Semi-supervised Kernel Ridge Regression)。随后,将图拓扑空间中的低通滤波器转化为Mercer核(Mercer’s Kernel)。最后,采用多核学习策略(Multiple Kernel Learning),将基于节点属性的高通滤波器和基于图拓扑的低通滤波器相结合,得到了跨空间自适应滤波器。
实验结论:本文在9个常见的图数据集上进行了实验,包括3个同配图和6个异配图,并与12个模型进行了比较。实验结果表明,本文提出的方法在解决GCN过度平滑问题和提升GCN在下游任务中的效果方面均明显优于其他对比模型。
部分作者简介:
黄晨,2021级博士研究生。该生主要研究方向为对话式/交互式人工智能和机器学习,在AAAI、WWW、EMNLP、ICDM等CCF-A/CCF-B类国际顶级会议上发表8篇论文。
雷文强,教授,博士生导师,国家级青年人才,计算机学院院长助理,博士毕业于新加坡国立大学,获得计算机科学专业博士学位,主要研究方向为自然语言处理、信息检索、数据挖掘,在 ACL、KDD、SIGIR、AAAI、IJCAI、WWW、ACM MM、TOIS等CCF-A类国际顶级会议上发表论文数十篇,获得CCF-A类会议 ACM MM 2020 最佳论文奖,数次在 ACL、SIGIR、RecSys 等国际主流顶级会议上做专题tutorial,以首席客座编委身份担任国际知名期刊ACM TWEB -“对话式信息检索”的特刊,担任AAAI、IJCAI、ACL、KDD、SIGIR、TKDE、TOIS 等国际顶级会议的程序委员会(高级)委员和期刊审稿人,担任自然语言处理领域国际顶会 ACL2023、COLING 2024等领域主席,担任新加坡全国自然语言处理会议 SSNLP 2020 程序委员会主席,IEEE 旗下国际会议 DSS2022 的 Workshop 主席等。