论文名称:
Adversarial Self-Attention For Language Understanding
ICLR 2022
https://arxiv.org/pdf/2206.12608.pdf
-
大量的证据表明,自注意力可以从 allowing bias 中获益,allowing bias 可以将一定程度的先验(如 masking,分布的平滑)加入原始的注意力结构中。这些先验知识能够让模型从较小的语料中学习有用的知识。但是这些先验知识一般是任务特定的知识,使得模型很难扩展到丰富的任务上。 -
adversarial training 通过给输入内容添加扰动来提升模型的鲁棒性。作者发现仅仅给 input embedding 添加扰动很难 confuse 到 attention maps. 模型的注意在扰动前后没有发生变化。
-
最大化 empirical training risk,在自动化构建先验知识的过程学习得到biased(or adversarial)的结构。 -
adversial 结构是由输入数据学到,使得 ASA 区别于传统的对抗训练或自注意力的变体。 -
使用梯度反转层来将 model 和 adversary 结合为整体。 -
ASA 天然具有可解释性。
© 版权声明
文章版权归作者所有,未经允许请勿转载。
相关文章
暂无评论...