🤖 系统
12-02 15:16
SpeContext:利用大语言模型中的推测性上下文稀疏性实现高效长上下文推理 / SpeContext: Enabling Efficient Long-context Reasoning with Speculative Context Sparsity in LLMs
1️⃣ 一句话总结
这篇论文提出了一种名为SpeContext的新方法,它通过使用一个轻量化的“蒸馏”模型来智能筛选长文本中的关键信息,并结合软硬件协同优化,在几乎不影响大模型回答准确性的前提下,大幅提升了长文本处理的速度和效率。