arXiv ID:
2606.09377
arXiv 提交日期: 2026-06-08
利用张量并行与全分片数据并行扩展神经网络验证 / Scaling Neural Network Verification with Tensor Parallelism and Fully Sharded Data Parallelism
1️⃣ 一句话总结
本文针对神经网络形式化验证中GPU内存不足的问题,提出了两种并行化方法:张量并行(TP)通过将权重矩阵分片到多个GPU来减少峰值内存,而全分片数据并行(FSDP)则通过按层聚合通信实现内存降低80-90%且精度无损,并成功应用于复杂网络(如ResNet)的完整验证,同时指出未来优化的关键瓶颈在于激活值相关的alpha张量。