Loading...

面向样本高效自适应的Neural Priming

大模型1年前 (2023)发布 智源社区
364 0 0

Neural Priming for Sample-Efficient Adaptation

M Wallingford, V Ramanujan, A Fang, A Kusupati, R Mottaghi, A Kembhavi, L Schmidt, A Farhadi
[University of Washington]

面向样本高效自适应的Neural Priming

要点:

  • 动机:提出一种名为Neural Priming的技术,用于在给定少量或无标签样本的情况下,将大型预训练模型自适应到分布漂移和下游任务。Neural Priming使模型能回忆并根据在预训练过程中看到的相关数据调整其参数,从而为测试分布做好准备。
  • 方法:Neural Priming分为两个主要步骤:1. 收集启动池,从预训练数据集中收集与特定任务相关的数据;2. 模型微调,利用启动池中的数据改进模型。在收集启动池的步骤中,模型使用自然语言任务描述从预训练集中检索相关的图像。在模型微调步骤中,模型使用最近类均值(NCM)在每个类别的检索样本上执行,以获得特定于池的分类头。
  • 优势:Neural Priming在零样本和少样本准确性上达到了标准迁移学习数据集的最新水平,分别提高了4.25%和3.81%。此外,Neural Priming还实现了转导学习,并在不使用任何额外数据的情况下,提高了标准分布漂移数据集的性能,平均提高了2.51%。

一句话总结:
提出Neural Priming技术,通过从预训练数据集中检索相关信息并利用其进行特定任务,有效地改进了大型预训练模型在分布漂移和下游任务上的自适应性。

https://arxiv.org/abs/2306.10191 

面向样本高效自适应的Neural Priming
面向样本高效自适应的Neural Priming
面向样本高效自适应的Neural Priming

© 版权声明

相关文章

暂无评论

暂无评论...