使用 Transformers 预测大脑活动
标题：Predicting brain activity using Transformers
链接：https://doi.org/10.1101/2023.08.02.551743
作者：Hossein Adeli, Sun Minni, Nikolaus Kriegeskorte
单位：哥伦比亚大学
摘要：
Algonauts 挑战（algonauts.csail.mit.edu/）呼吁研究者们提供新颖的解决方案来预测人类观看自然场景时的大脑活动。本文提供了一种解决方案，本文中的研究者使用通用的 Transformer 编码器-解码器模型将图像映射到 fMRI 响应。编码器模型是使用自监督方法（DINOv2）训练的视觉转换器。解码器使用与大脑不同半球的不同感兴趣区域 (ROI) 相对应的 query 来从编码器输出中收集相关信息，以预测每个 ROI 中的神经活动。
然后，解码器的输出标记被线性映射到 fMRI 活动。结果显示预测成功（challenge score: 63.5229, rank 2），表明自监督 Transformer 的特征可能可以作为人类视觉大脑表征的模型，并显示出 Transformer 机制（自注意和交叉注意）可以有效地学习从特征到大脑反应的映射。
© 版权声明
文章版权归作者所有，未经允许请勿转载。
相关文章
暂无评论...
这是一个专注于人工智能产品的导航站。
