📄 论文总结
CiteGuard：基于检索增强验证的智能引用归因框架 / CiteGuard: A Retrieval-Augmented Verification Framework for Intelligent Citation Attribution
1️⃣ 一句话总结
CiteGuard通过引入检索增强验证机制，将引用评估重新定义为引用归因对齐问题，显著提升了大型语言模型生成文本中引用的准确性和忠实性，在CiteME基准测试中达到接近人类水平的性能。
2️⃣ 论文创新点
1. 引用归因对齐框架
- 创新点：将引用评估重新定义为引用归因对齐问题，评估LLM生成引用与人类作者在相同文本中包含引用的一致性
- 区别/改进：相比传统的LLM-as-a-Judge方法，提供了更忠实的引用验证基础
- 意义：解决了LLM生成引用准确性问题，在CiteME基准上达到接近人类水平的性能
2. 检索增强验证机制
- 创新点：通过检索外部知识来验证生成的引用，提供更可靠的引用归因
- 区别/改进：克服了CiteAgent等现有方法的局限性，通过扩展检索操作提高准确性
- 意义：能够识别替代但有效的引用，提供更通用的引用验证解决方案
3. 增强检索动作设计
- 创新点：引入ask_for_more_context和search_text_snippet两个新动作，使引用搜索更加灵活和鲁棒
- 区别/改进：减少对PDF可用性的依赖，显著提升科学声明引用的准确性和鲁棒性
- 意义：特别在复杂长距离上下文的真实引用检索中表现优异
4. 多引用标注框架
- 创新点：提出支持多个真实引用标注的函数框架，不同于CiteME的单真实引用设置
- 区别/改进：支持k个真实引用，更全面地评估引用检索系统的性能
- 意义：捕捉替代引用推荐的能力，提供更全面的评估标准
5. 模型无关的引用推荐能力
- 创新点：CiteGuard能够与多种大模型结合，有效识别并提供相关的替代文献引用
- 区别/改进：不依赖特定模型架构，提高了方法的通用性和可移植性
- 意义：使不同资源背景的研究者都能利用该工具进行高质量的文献引用辅助
3️⃣ 主要结果与价值
结果亮点
- 在CiteME基准测试中，CiteGuard+DeepSeek-R1达到65.4%的准确率，接近人类水平的69.7%，比基线提高了12.3%
- 在困难样本(Med-Hard)上达到59.0%的准确率，与人类标注有较高一致性(66.7% Agree)
- 检索方式在保持较高准确率的同时，显著减少了token消耗(约2-4倍)，为实际应用中的计算资源分配提供实证依据
实际价值
- 能够建议原始基准未捕捉到的替代引用，并通过人工评估验证其有效性
- 支持向后推理和横向推理，能够识别同一作者的历史引用并建议同行或相关工作
- 可与多种LLM模型集成，包括开源和闭源模型，提供灵活的部署选择
4️⃣ 术语表
- CiteGuard：基于检索增强验证的代理框架，用于提供忠实的引用归因验证，通过扩展检索动作提高引用准确性
- CiteME：用于评估引用归因准确性的基准测试数据集，包含来自不同计算机科学领域人类撰写手稿摘要，每个摘要包含一个缺失的引用
- 检索增强生成(RAG)：检索增强生成，结合检索和生成的知识密集型NLP方法，结合参数化和非参数化记忆，用于缓解LLM在知识密集型任务中的幻觉等问题
- LLM-as-a-Judge：使用大语言模型作为评判者的方法，用于自动化评估过程以提高可扩展性，但存在偏见和提示敏感性等局限性
- 难度级别：基于模型正确率将样本分为Easy、Medium、Medium-Hard、Hard四个等级，为模型性能评估提供细粒度标准
- Semantic Scholar API：CiteGuard依赖的科学文献数据库和检索管道，提供学术文献搜索功能