Loading...

哥伦比亚大学|使用 Transformers 预测大脑活动

大模型10个月前发布 智源社区
259 0 0

使用 Transformers 预测大脑活动

标题:Predicting brain activity using Transformers

链接:https://doi.org/10.1101/2023.08.02.551743

作者:Hossein Adeli, Sun Minni, Nikolaus Kriegeskorte

单位:哥伦比亚大学

摘要

Algonauts 挑战(algonauts.csail.mit.edu/)呼吁研究者们提供新颖的解决方案来预测人类观看自然场景时的大脑活动。本文提供了一种解决方案,本文中的研究者使用通用的 Transformer 编码器-解码器模型将图像映射到 fMRI 响应。编码器模型是使用自监督方法(DINOv2)训练的视觉转换器。解码器使用与大脑不同半球的不同感兴趣区域 (ROI) 相对应的 query 来从编码器输出中收集相关信息,以预测每个 ROI 中的神经活动。

然后,解码器的输出标记被线性映射到 fMRI 活动。结果显示预测成功(challenge score: 63.5229, rank 2),表明自监督 Transformer 的特征可能可以作为人类视觉大脑表征的模型,并显示出 Transformer 机制(自注意和交叉注意)可以有效地学习从特征到大脑反应的映射

哥伦比亚大学|使用 Transformers 预测大脑活动

© 版权声明

相关文章

暂无评论

暂无评论...