BrainExplore：用于大规模发现和解释人类大脑视觉表征的自动化框架 / BrainExplore: Large-Scale Discovery of Interpretable Visual Representations in the Human Brain
1️⃣ 一句话总结
本文提出了一个名为BrainExplore的自动化框架，它通过整合无监督数据驱动分解、预测性fMRI信号增强以及基于视觉语言模型的自动化解释流程，能够大规模、系统性地从全脑fMRI数据中发现数千个可解释的、精细粒度的视觉概念表征模式。
2️⃣ 论文创新点
1. 大规模自动化发现与解释框架
- 创新点：提出了BrainExplore框架，旨在克服传统fMRI研究的小规模、手动检查、局限于特定区域和缺乏系统验证等局限性。该框架包含两个主要阶段：首先通过无监督分解方法从fMRI活动中发现候选可解释模式，然后通过识别最能触发这些模式的自然图像集并生成描述其共享视觉意义的自然语言来解释每个模式。
- 区别/改进：将无监督的数据驱动分解与自动化的解释生成和验证相结合，实现了从数据到理解的大规模、标准化处理。
- 意义：能够揭示跨越数千个不同视觉概念的可解释模式，包括以前未报告的精细粒度表征，为理解大脑视觉信息处理提供了新的工具和视角。
2. 融合预测性fMRI信号进行数据增强
- 创新点：在fMRI分解中融入由图像到fMRI预测模型生成的大量预测信号，将数据从约1万张实测图像扩展到超1.2万张（实测+预测）。
- 区别/改进：通过数据扩充，显著提高了分解质量，并增加了所发现表征的多样性，克服了实测数据有限的瓶颈。
- 意义：显著提升了模式的可解释性，并为脑成像研究提供了数据增强的新途径。
3. 基于稀疏自编码器（SAE）的fMRI分解
- 创新点：将广泛应用于人工神经网络解释的稀疏自编码器（SAEs）应用于fMRI分解。
- 区别/改进：SAE能产生大量可解释模式，并揭示出其他标准方法未能捕捉到的、具有互补性的视觉表征。
- 意义：提供了一种超越标准分解方法的新途径，以发现更丰富的脑活动模式，并能产生空间局部化更合理的模式。
4. 可扩展的自动化模式解释流程
- 创新点：提出了一个包含“假设词典生成”和“假设-图像标注”的两步流程，用于大规模、高效地解释大脑激活模式，摆脱了对每个模式进行单独、昂贵解释的限制。
- 区别/改进：通过预计算一个大脑活动触发的概念词典，并为所有图像离线标注，使得任何新的大脑模式都可以通过检查其激活图像是否一致地表达词典中的概念来快速评估。
- 意义：极大提升了神经科学中模式解释的效率和规模，使得处理高维SAE、多种超参数和方法成为可能，为大规模脑活动解码奠定了基础。
5. 跨分解方法的集成搜索与评估框架
- 创新点：支持两种互补搜索：模式搜索（寻找最可解释的模式）和假设搜索（针对给定假设寻找最佳解释模式）。搜索可在单个ROI内或跨所有ROI进行。
- 区别/改进：由于每个模式都有一个得分，搜索不仅可以在单个分解方法内进行，还可以跨不同方法和超参数进行，实现了集成比较和选择。
- 意义：允许进行区域特异性（假设在何处被表征）和方法级别（哪种分解能捕获它）的分析，为理解大脑表征提供了更灵活和全面的工具。
3️⃣ 主要结果与价值
结果亮点
- 在自然场景数据集（NSD）上应用BrainExplore，发现了数千个跨脑区的可解释视觉概念模式，覆盖物体、人物、场景等多个层面。
- 稀疏自编码器（SAE）能产生空间局部化、紧凑的可解释神经模式，相比ICA等方法产生的分散模式，更符合大脑生物学上合理的空间组织。
- 引入预测性fMRI信号进行数据增强后，所有分解方法的可解释性均显著提升，特别是ICA的可解释假设百分比从0.8%提升至18.3%。
- 跨方法集成（如SAE+ICA）取得了最佳性能，证明了综合不同方法优势的潜力。
- 在特定脑区（如EBA和PPA）发现了比传统分类更精细粒度的概念模式，例如在EBA中发现对特定运动、动作和身体部位的选择性模式，在PPA中观察到比传统的室内外对比更细微的户外概念划分。
实际价值
- 为神经科学家提供了一个系统化、可扩展的工具，用于大规模探索大脑中复杂的视觉表征，减少对手工分析的依赖。
- 建立了一个评估未来分解方法的基准，并为比较、评估和改进分解方法（如稀疏自编码器）提供了实用且系统的方法。
- 加速了神经科学发现，支持大规模研究，并超越了当前研究结果。
- 提供了一种客观、可扩展的方式来发现和验证大脑模式的可解释性，将模式解释从定性观察转向定量评估。
4️⃣ 术语表
- BrainExplore：本文提出的一个用于从人类大脑fMRI数据中大规模、自动化发现和解释视觉表征的无监督、数据驱动自动化框架。
- fMRI：功能磁共振成像，一种非侵入性测量大脑活动（特别是皮层活动）的工具，将大脑活动划分为称为体素的小体积元。
- SAEs (Sparse Autoencoders)：稀疏自编码器，一种通过高维投影和稀疏约束来解释人工神经网络的方法，在本研究中被用于fMRI分解以发现可解释的脑活动模式。
- Natural Scenes Dataset (NSD)：一个大型公开的7-Tesla fMRI数据集，用于记录对自然场景图像的脑反应，包含约73k图像-fMRI对。
- Hypothesis dictionary generation：假设词典生成：通过筛选语义一致性高的模式，解释其激活图像，生成候选解释，并去重合并，最终构建一个大脑活动触发的视觉概念词典的过程。
- Hypothesis–image labeling：假设-图像标注：为数据集中的每张图像生成一个二进制向量，指示词典中的哪些概念适用于该图像的过程。通常采用CLIP初筛和VLM验证的两阶段方法以确保质量。
- 模式-假设对齐得分：一个量化指标，衡量给定神经活动模式与一个语义假设（概念）的对齐强度，基于该模式最激活的图像中假设出现的归一化频率计算。
- 预测性fMRI：通过模型（如视觉编码模型）生成的fMRI信号，用于扩充训练和检索数据池，以提升分解方法的可解释性。
- CLIP：一种连接视觉和语言的预训练多模态模型，其图像表示可通过文本进行分解解释。
- NeuroGen：一种通过合成激活优化图像来进行发现神经科学研究的方法。