arXiv ID:
2603.03001
arXiv 提交日期: 2026-03-03
MaBERT:一种用于高效长上下文掩码语言建模的、对填充安全的交错式Transformer-Mamba混合编码器 / MaBERT:A Padding Safe Interleaved Transformer Mamba Hybrid Encoder for Efficient Extended Context Masked Language Modeling
1️⃣ 一句话总结
这篇论文提出了一种名为MaBERT的新型混合编码器,它通过交替使用Transformer层和Mamba层,在保证高效处理长文本的同时,解决了传统模型计算成本高和填充数据污染状态的问题,显著提升了训练和推理速度。