📄 论文总结
熵正则化激活：一种新颖的熵约束训练范式 / Entropy Regularizing Activation: A Novel Entropy Constraint Training Paradigm
1️⃣ 一句话总结
本文提出了一种名为熵正则化激活（ERA）的新方法，通过特殊设计的激活函数在模型输出上施加熵约束，将主目标优化与熵约束完全解耦，在强化学习、图像分类和大语言模型等多个领域均展现出显著性能提升。
2️⃣ 论文创新点
1. ERA熵约束范式
- 创新点：通过精心设计的激活函数对模型最终输出施加熵约束，而非通过损失惩罚项直接修改损失函数
- 区别/改进：避免了传统最大熵方法对优化目标的干扰，解决了LLM对齐中的熵崩溃问题
- 意义：为熵控制提供了新方向，可设计更简单鲁棒的算法，具有广泛适用性
2. 自适应ERA变体
- 创新点：针对大语言模型领域独特挑战设计的专门自适应变体
- 区别/改进：解决了LLM中的策略熵崩溃问题，防止探索行为衰减
- 意义：在AIME基准上实现显著性能提升（9.0%和37.4%）
3. 有界高斯策略熵约束处理
- 创新点：将有界策略的熵表示为原始高斯分布熵减去边界操作引入的偏置项
- 区别/改进：通过对底层高斯分布施加更高的熵约束来满足最终有界策略的熵要求
- 意义：解决了连续控制中有界动作空间熵最大化的技术难题
3️⃣ 主要结果与价值
结果亮点
- 在大型语言模型上，将Qwen2.5-Math-7B的AIME 2025分数提升了37.4%
- 在连续控制强化学习智能体上，在HumanoidBench上比SAC等强基线性能提升超30%
- 在图像分类上，将ResNet-50的ImageNet top-1准确率提升了0.69%
- 在分布外基准测试中，ERA平均优于GRPO基线16.9%，展示出更强的泛化能力
实际价值
- 所有提升的计算开销低于7%，训练时间仅增加约6%
- 方法对最小熵超参数选择不敏感，在合理取值范围内都能保持有竞争力的性能
- 无需任何额外网络（如熵评论家或逆动力学模型），计算复杂度增加可忽略不计
- 可作为非侵入式模块无缝集成到现有算法中
4️⃣ 术语表
- ERA：熵正则化激活，一种基于激活函数的熵约束训练范式，通过特殊设计的激活函数将最大熵约束直接集成到策略网络架构中
- 熵崩溃：在强化学习中模型熵值过低导致探索不足的问题，在LLM对齐中策略梯度方法经常遭受的问题，导致多样性减少和性能下降
- Soft Actor-Critic (SAC)：一种离策略的演员-评论家算法，通过最大化期望回报和熵来平衡探索和利用
- 策略熵：衡量策略随机性的指标，在离散动作空间中通过令牌级熵计算
- 有界高斯策略：从高斯分布采样动作后应用边界函数（如tanh压缩或裁切）的策略
- GRPO：用于LLM对齐的PPO变体，通过样本集估计生成响应的优势函数
- 截断高斯分布：用于策略参数化的截断高斯分布，相比Tanh高斯具有更好的训练稳定性
- pass@k：一种评估指标，衡量在生成k个候选解中至少有一个正确的概率，用于评估推理模型的探索和求解能力
- 响应熵：响应中前20%最高熵token的平均熵，用于ERA中的熵条件判断