arXiv ID:
2607.07294
arXiv 提交日期: 2026-07-08
面向社交机器人的多模态语音活动预测:利用与语音活动相关的预训练编码器实现轮换对话 / Multimodal Voice Activity Projection for Turn-Taking in Social Robots with Voice-Activity-Related Pretrained Encoders
1️⃣ 一句话总结
本文提出一种多模态语音活动预测框架,通过融合音视频信号并利用预训练编码器与低秩适应技术,使社交机器人能提前预测人类对话中的轮换时机,从而更自然地参与或协调多人互动,实验在多个数据集上取得了优于现有方法的效果。