📄 论文总结
LATTICE：一种由大语言模型引导的分层检索框架 / LATTICE: A LLM-Guided Hierarchical Retrieval Framework
1️⃣ 一句话总结
LATTICE是一种创新的大语言模型引导分层检索框架，通过将文档集组织成语义树结构并结合智能遍历算法，在复杂推理查询检索中实现了零样本最先进性能。
2️⃣ 论文创新点
1. 分层检索框架设计
- 创新点：提出了一种结合层次结构对数搜索效率与LLM复杂推理能力的分层检索框架，包含离线构建语义树和在线LLM引导遍历两个阶段
- 区别/改进：克服了传统检索-重排序范式的嵌入检索限制、参数生成方法难以适应新信息以及长上下文方法计算不可行的问题
- 意义：在BRIGHT基准测试中实现了零样本最先进性能，显著提升了Recall@100和nDCG@10指标，并展现出比重排序基线更高的计算效率
2. 路径相关性评分与校准机制
- 创新点：提出了一种遍历算法，从LLM的局部输出中估计校准的潜在相关性分数，并将其结合成路径相关性度量以在树中进行全局一致的搜索
- 区别/改进：解决了LLM相关性判断噪声大、上下文依赖且不了解底层层次结构的问题，使得能够跨树的不同分支和层级比较节点
- 意义：确保搜索过程在全局范围内的连贯性和有效性，提升了检索质量
3. 跨分支校准机制
- 创新点：在叶子节点选择板中包含来自兄弟分支的top-ℓ评分节点，显著提升搜索效果
- 区别/改进：性能随ℓ值增加而提升，在ℓ=1到ℓ=5时收益最大
- 意义：这一校准机制对于有效搜索至关重要，无校准的基线性能显著较差
4. 分层摘要构建策略
- 创新点：开发了自底向上聚类与摘要化以及自顶向下分裂聚类两种树构建方法，支持元数据驱动初始聚类
- 区别/改进：相比传统检索方法，提供了更结构化的文档组织方式
- 意义：实现了对复杂推理任务更有效的文档空间探索
3️⃣ 主要结果与价值
结果亮点
- 在BRIGHT基准测试中实现零样本最先进性能，Recall@100达到74.8%，优于BM25和ReasonIR-8B
- 在StackExchange数据集上获得51.6的nDCG@10，优于对照基线(47.4)，并与微调SOTA方法Diver-v2(52.2)竞争
- 小波束配置(B=1和B=2)实现了最高的nDCG@10分数，验证了优先搜索深度优于波束宽度的策略
实际价值
- 比重新排序长平面文档列表更能有效利用LLM的计算预算，在计算成本与性能的权衡中表现出更好的可扩展性
- 树构建策略与语料库底层结构对齐对零样本性能至关重要，在Biology数据集上获得64.38 nDCG@10和87.53 R@100
- 路径相关性平滑、LLM推理和分数校正是三个关键组件，其中禁用路径相关性平滑导致的性能下降最大
4️⃣ 术语表
- LATTICE：一种由大语言模型引导的分层检索框架，通过将文档集组织成语义树结构并进行在线遍历，以实现高效复杂的推理检索
- BRIGHT：一个推理密集型的基准测试，包含12个推理密集型检索任务，专门用于评估深度推理能力
- 路径相关性分数：用于在层次树中优先探索相关节点的预测分数，通过校准局部信号获得
- 潜在相关性分数：节点在石板评估中的基础、独立于石板的分数，通过最大似然估计进行估计
- RAPTOR：通过自底向上递归聚类和总结文本块构建语义层次结构的模型
- HNSW：使用多级图进行高效近似最近邻搜索的层次可导航小世界算法
- 语义树：将语料库组织成的树形结构，包含根节点、内部节点（文档簇）和叶子节点（文档）
- nDCG@10：标准化折损累积增益@10，信息检索中用于评估前10个结果排名质量的评价指标
- Gecko嵌入：用于将文本表示映射到d维向量的嵌入函数
- 分层摘要：使用LLM生成多个复杂度递增的摘要，以指导聚类过程
- 波束大小：波束大小，搜索算法中每步保留的最佳候选解数量