📄 论文总结
LiteStage：面向多阶段推理的延迟感知层跳过框架 / LiteStage: A Latency-Aware Layer Skipping Framework for Multi-Stage Inference
1️⃣ 一句话总结
LiteStage是一个针对小型语言模型多阶段推理的延迟感知层跳过框架，通过阶段化离线搜索分配最优层预算和基于置信度的在线生成提前退出机制，在保持精度的同时显著降低端到端延迟。
2️⃣ 论文创新点
1. 阶段化离线搜索
- 创新点：为多阶段推理的不同阶段分配最优层预算，基于阶段敏感性和延迟影响进行定制化配置
- 区别/改进：解决了阶段间跳过敏感度变化的问题，防止敏感阶段精度崩溃同时加速非敏感阶段
- 意义：实现更精细的效率控制，超越传统均匀跳过方法的局限性
2. 基于置信度的生成提前退出
- 创新点：在线监控解码过程中token的置信度，当置信度低于阈值时提前终止生成
- 区别/改进：减少层跳过导致的冗余输出token生成，解决输出长度增加问题
- 意义：避免冗余生成，降低端到端延迟，在高层跳过配置下效果更明显
3. 非均匀层跳过策略
- 创新点：根据推理阶段的不同敏感度和延迟影响，为每个阶段分配不同数量的跳过层
- 区别/改进：改进了传统的均匀层跳过策略，通过保护敏感阶段同时在鲁棒阶段跳过更多层
- 意义：在保持精度的同时实现更好的延迟优化，解决了均匀跳过导致的次优效率-精度权衡
3️⃣ 主要结果与价值
结果亮点
- 在OBQA、CSQA和StrategyQA基准测试中实现1.16-1.70倍推理加速
- 仅损失0.4-4.0%精度，在高层跳过配置下仍能保持较高精度
- 在StrategyQA上即使减少80%解码步骤，准确率仍能提升2.6%和3.9%
实际价值
- 为小型语言模型部署提供了有效的推理加速方案
- 无需额外训练即可实现自适应层跳过，降低部署成本
- 在保持模型精度的同时显著降低端到端延迟，提升用户体验
4️⃣ 术语表
- LiteStage：面向小型LLM多阶段推理的延迟感知层跳过框架，包含离线配置和在线调整两个组件
- 层跳过：通过跳过冗余层来节省计算的自适应计算技术
- 层预算：每个推理阶段分配的跳过层数，基于阶段敏感性定制
- 阶段化层跳过：根据不同推理阶段的特性和敏感性，为每个阶段独立配置层跳过策略的方法
- 生成提前退出：基于置信度提前终止解码过程以减少计算步骤的机制
- 非均匀层跳过：一种层跳过策略，根据推理阶段的不同敏感度，为不同阶段分配不同数量的跳过层，以优化准确性与速度的平衡
- AdaSkip：基线方法，采用子层级余弦相似度进行层重要性评估