Loading...

ICLR 2022 | 基于对抗自注意力机制的预训练语言模型

智源社区10个月前发布 智源社区
337 0 0

ICLR 2022 | 基于对抗自注意力机制的预训练语言模型

论文名称:

Adversarial Self-Attention For Language Understanding

论文来源:

ICLR 2022

论文链接:

https://arxiv.org/pdf/2206.12608.pdf

本文提出了 Adversarial Self-Attention 机制(ASA),利用对抗训练重构 Transformer 的注意力,使模型在被污染的模型结构中得到训练。
尝试解决的问题:
  1. 大量的证据表明,自注意力可以从 allowing bias 中获益,allowing bias 可以将一定程度的先验(如 masking,分布的平滑)加入原始的注意力结构中。这些先验知识能够让模型从较小的语料中学习有用的知识。但是这些先验知识一般是任务特定的知识,使得模型很难扩展到丰富的任务上。
  2. adversarial training 通过给输入内容添加扰动来提升模型的鲁棒性。作者发现仅仅给 input embedding 添加扰动很难 confuse 到 attention maps. 模型的注意在扰动前后没有发生变化。

为了解决上述问题,作者提出了 ASA,具有以下的优势:
  1. 最大化 empirical training risk,在自动化构建先验知识的过程学习得到biased(or adversarial)的结构。
  2. adversial 结构是由输入数据学到,使得 ASA 区别于传统的对抗训练或自注意力的变体。
  3. 使用梯度反转层来将 model 和 adversary 结合为整体。
  4. ASA 天然具有可解释性。

© 版权声明

相关文章

暂无评论

暂无评论...