📄 论文总结
过渡模型（TiM）：通过任意间隔状态转移统一生成建模
Transition Models (TiM): Unifying Generative Modeling via Arbitrary-Interval State Transitions
1️⃣ 一句话总结
论文提出了Transition Models (TiM)，一种通过精确连续时间动力学方程学习任意时间间隔状态转移的新型生成范式，在计算效率与输出质量之间实现了根本性突破，仅用865M参数就在多项基准测试中超越了参数量更大的模型。
2️⃣ 论文创新点
1. 连续时间状态转移方程
- 创新点是什么：提出了一个精确的连续时间动力学方程，能够分析定义任意有限时间间隔Δt的状态转移
- 与已有方法的区别/改进：克服了传统方法只能建模瞬时动力学或直接端点预测的限制
- 为什么有意义：实现了从单步跳跃到多步细化的无缝过渡，打破了计算效率与输出质量之间的权衡
2. 状态转移恒等式
- 创新点是什么：将状态转移形式视为精确恒等式而非数值近似，适用于任意间隔Δt = t - r
- 与已有方法的区别/改进：摆脱了传统方法对PF-ODE局部解的近似约束
- 为什么有意义：使模型能够学习整个生成过程的解流形，实现任意步长的推理能力
3. 任意间隔监督
- 创新点是什么：学习生成过程本身的解流形，而非近似微分方程或统计映射
- 与已有方法的区别/改进：避免了离散化误差和性能饱和问题
- 为什么有意义：支持通过增加步骤数实现单调质量改进，同时保持少步生成效率
4. 解耦时间嵌入和间隔感知注意力
- 创新点是什么：使用独立编码器分别处理绝对时间t和转换间隔Δt，并将间隔嵌入注入注意力机制的计算中
- 与已有方法的区别/改进：为模型提供更精确的时间条件信息，使注意力能够根据转换间隔动态调整空间依赖关系建模方式
- 为什么有意义：优化了模型在不同采样步下的性能，大间隔时进行粗粒度全局重构，小间隔时进行细粒度局部优化
3️⃣ 主要结果与价值
实验结果亮点
- 在GenEval基准测试中超越了SD3.5 (8B)和FLUX.1 (12B)等更大模型，所有评估步数下实现单调质量提升
- 仅用865M参数实现卓越性能，支持高达4096×4096分辨率的高保真生成
- 在MJHQ30K上达到FID为5.25的SOTA水平，在DPGBench上8-NFE超越100-NFE基线（如SDXL）
- 从1到128的所有NFE设置下均能生成具有卓越保真度和文本对齐度的图像
实际应用价值
- 提供灵活的生成选项，平衡生成速度和质量，适用于不同应用场景
- 降低计算和存储成本，标志着模型设计向更高效和发展潜力范式的转变
- 支持原生分辨率训练策略，保留原始图像分辨率和宽高比信息，增强分辨率泛化性能
4️⃣ 术语表
- Transition Models (TiM)：基于连续时间状态转移方程的新型生成模型，支持任意步长的生成过程，通过学习任意时间间隔的状态到状态转换来掌握生成过程解流形
- PF-ODE：概率流常微分方程，用于描述扩散模型中状态演化的数学框架，描述扩散模型的反向生成过程
- solution manifold：生成过程的解流形，即从噪声到数据的所有可能生成轨迹形成的高维几何曲面
- NFE：函数评估次数，用于量化采样步骤数，当使用分类器无关引导（CFG）时，NFE会翻倍
- State Transition Identity：状态转移恒等式，一个乘积导数不变量，对生成模型施加双重约束
- Interval-Aware Attention：间隔感知注意力机制，通过注入间隔嵌入来调节注意力计算，根据转换间隔调整空间依赖关系建模方式