GraphMemVOS：基于情景图储存网络的视频目标分割

智源社区1年前 (2023)发布智源社区

443 0 0

本项目主要解决视频目标分割领域的一个基本问题：如何使分割模型能够有效地适应特定视频以及在线目标的外观变化？给出的解决办法是提出一个图存储网络来对分割模型进行“学习更新”。大概流程分为两步：首先构建一个由全连接图构成的情景存储网络，将帧存储为节点，并通过边捕获跨帧的相关性。然后，可学习的控制器被嵌入以简化内存的读写。相比于以往模型的优势：结构化的外部存储使可以在视觉信息有限的情况下全面挖掘并快速存储新知识。不同的存储控制器通过梯度下降学习了一种抽象的表示方法，可以利用这种表示学习进行预测。另外，图存储网络产生的框架，可以推广到one-shot和zero-shot视频目标分割任务。