2.18亿参数全皮层视觉听觉语言编码模型
原文:A Whole-Cortex Encoding Model of Vision, Audition, and Language for In-Silico Neuroscience [R]
我基于2000人观看电影、电视和图片时的大脑fMRI数据,构建并训练了一个2.18亿参数的模型——Cajal-1。在Meta留出用于测试TRIBE v2的影片上,Cajal-1的准确率高出25%,并在32段记录中的27段更接近真实大脑。给它任意视频、播客或歌曲,它就能以每1.49秒一次的速度预测人类皮层上20,484个点的fMRI响应。速度相同,无需扫描仪。它以Santiago Ramón y Cajal命名,他是首位获得诺贝尔科学奖的西班牙人。19世纪90年代,他使用Golgi的银染法(因Golgi体而闻名)手绘神经元,证明大脑由独立细胞构成。一个世纪后,我们可以预测这些细胞如何在全脑范围内对我们遇到的任何刺激作出响应。该模型和Colab演示现已开源:https://huggingface.co/ffh92r32rm0/Cajal-1 由/u/AfterShock182提交 [链接] [评论]