📄 论文总结
语义对齐的隐式思维链框架 / SemCoT: Semantic-Aligned Implicit Chain-of-Thought Framework
1️⃣ 一句话总结
提出SemCoT框架，通过语义对齐的隐式推理令牌替代显式推理文本，在保持思维链推理效果的同时显著提升推理效率。
2️⃣ 论文创新点
1. 语义对齐隐式思维链
- 创新点：设计两阶段框架，首先通过定制化句子转换器评估隐式与显式推理的语义对齐度，然后训练轻量级语言模型生成语义对齐的隐式推理
- 区别/改进：解决了传统隐式CoT方法中语义对齐不足导致的性能下降问题
- 意义：首次联合优化令牌级生成速度和语义对齐，提升CoT推理效率和效果
2. 高效隐式推理生成器
- 创新点：利用知识蒸馏训练的轻量级语言模型生成隐式推理，通过线性投影层对齐其嵌入空间与主LLM的嵌入空间
- 区别/改进：显著降低生成每个思维链令牌的时间成本，避免LLM微调导致的灾难性遗忘
- 意义：在资源受限环境中实现高效推理，同时保持语义一致性
3. 定制化句子转换器
- 创新点：专门为处理LLM嵌入设计的句子转换器，提取LLM中间层特征并添加池化层和线性层生成统一语义嵌入向量
- 区别/改进：克服标准句子转换器与LLM在令牌到输入嵌入映射上的差异问题
- 意义：提供准确度量隐式推理与真实推理语义相似性的有效工具
3️⃣ 主要结果与价值
结果亮点
- 在GSM8K、SVAMP、MultiArith、CommonsenseQA、CoinFlip五个数据集上均取得最高答案准确率
- 在保持高准确率的同时实现接近最快的推理处理时间
- 消融实验验证语义对齐损失和轻量语言模型对性能的关键作用
- 参数敏感性分析显示语义对齐损失权重λ约0.7、隐式推理标记数M=1时性能最优
实际价值
- 为实际部署提供既准确又高效的推理解决方案
- 适用于数学推理、常识推理和符号推理等多种语义领域
- 在资源受限环境中实现高性能推理，降低计算开销
- 推动高级推理能力在实际应用中的计算可访问性
4️⃣ 术语表
- SemCoT：语义对齐的隐式思维链框架，通过优化隐式令牌生成和语义对齐来加速思维链推理
- 隐式CoT：将推理步骤编码在LLM隐藏嵌入中而非显式令牌的方法，以减少推理长度和绕过部分LLM组件
- 语义对齐损失：训练隐式推理生成器时使用的损失函数，确保隐式推理标记与真实推理在语义空间中对齐
- 对比学习：通过最大化正样本对之间的相似性并最小化负样本对之间的相似性来学习语义嵌入的训练策略
- 语义文本相似性(STS)：从词级词汇方法发展到句级语义方法，用于比较文本语义相似性的技术
- LoRA：大语言模型的低秩自适应方法，实现参数高效微调