📄 论文总结
视觉输入能否被压缩?面向大型多模态模型的视觉令牌压缩基准 / Can Visual Input Be Compressed? A Visual Token Compression Benchmark for Large Multimodal Models
1️⃣ 一句话总结
这篇论文提出了一个名为UniPruneBench的统一基准测试平台,用于系统评估大型多模态模型中视觉令牌压缩方法的性能,发现随机剪枝是一个意外强大的基线方法,且压缩比例是影响模型性能的主要因素。
请先 登录 后再提交论文
视觉输入能否被压缩?面向大型多模态模型的视觉令牌压缩基准 / Can Visual Input Be Compressed? A Visual Token Compression Benchmark for Large Multimodal Models
这篇论文提出了一个名为UniPruneBench的统一基准测试平台,用于系统评估大型多模态模型中视觉令牌压缩方法的性能,发现随机剪枝是一个意外强大的基线方法,且压缩比例是影响模型性能的主要因素。
顺序优势:在同等计算量下,逆熵投票优于并行自一致性方法 / The Sequential Edge: Inverse-Entropy Voting Beats Parallel Self-Consistency at Matched Compute
这项研究发现,在相同计算资源下,让语言模型通过顺序迭代改进答案的方法,比同时运行多个独立推理链的并行方法更有效,并通过一种新的逆熵加权投票技术进一步提升了准确率。
基于采样的推理:你的基础模型比你想象得更聪明 / Reasoning with Sampling: Your Base Model is Smarter Than You Think
这篇论文提出了一种无需额外训练、仅通过迭代采样就能显著提升基础模型推理能力的方法,其效果在多项任务上接近甚至超过需要强化学习的复杂训练方法。
重新思考思维令牌:将大语言模型作为改进操作器 / Rethinking Thinking Tokens: LLMs as Improvement Operators
这篇论文提出了一种名为PDR的并行提炼优化推理方法,让大语言模型通过并行生成草稿并迭代优化的方式,在降低计算成本和延迟的同时,反而比传统长链思维推理获得了更高的数学解题准确率。