Loading...

KDD 2022 | GraphMAE:自监督掩码图自编码器

图神经网络1年前 (2023)发布 智源社区
325 0 0

KDD 2022 | GraphMAE:自监督掩码图自编码器

论文地址:https://arxiv.org/abs/2205.10803

 生成式自监督模型在NLP和CV领域得到广泛应用,而在graph领域对比学习占据主导地位,不论是节点分类还是图分类任务,生成式自监督的性能都被对比学习甩“几条街”。虽然如此,对比学习却有着致命缺陷,它要么过度依赖于数据增广,要么需要使用负采样、动量更新或指数滑动平均等策略来避免训练时陷入平凡解。而生成式自监督,特别是图自编码器通常目标是重建图自身的节点特征或结构信息,则会完全规避对比学习的局限。本文发现利用图自编码器,稍加改进,仅仅重建节点特征便能够获得优越的性能。GraphMAE的改进如下图所示:

KDD 2022 | GraphMAE:自监督掩码图自编码器

概括地讲,改进主要是四点:1,掩码特征重建,不重建边;2,不同于大多数图自编码器使用的均方误差,GraphMAE使用缩放余弦误差作为损失函数;3,将编码器输出的嵌入重新掩码后再输入到解码器中;4,比起大多数图自编码器的解码器用多层感知机,GraphMAE的解码器使用图神经网络。

 GraphMAE在无监督节点分类、无监督图分类以及在分子性质预测上的迁移学习三个任务共21个数据集上取得了与对比学习差不多,甚至是更好的效果。

© 版权声明

相关文章

暂无评论

暂无评论...