arXiv ID:
2605.22337
arXiv 提交日期: 2026-05-21
元软:利用可组合的元标记实现上下文保持的KV缓存压缩 / Meta-Soft: Leveraging Composable Meta-Tokens for Context-Preserving KV Cache Compression
1️⃣ 一句话总结
这篇论文提出了一种名为Meta-Soft的新方法,通过动态生成可组合的软标记来压缩大语言模型中的KV缓存,在高效减少内存占用的同时,避免了传统方法因丢弃缓存导致的信息丢失和上下文断裂问题。