arXiv ID:
2606.24596
arXiv 提交日期: 2026-06-23
比较,还是不比较:关于评估社会偏见的方法论实践 / To Compare, or Not to Compare: On Methodological Practices in Evaluating Social Bias
1️⃣ 一句话总结
本文揭示了在大语言模型的社会偏见评估中,不同的测试设置(尤其是对比型提问方式)会显著影响检测结果,发现“比较式”提问会像催化剂一样放大模型的潜在歧视,而单独的评估则抑制偏见,并且这种效应随模型变大而增强,因此建议研究者用比较设置来彻底检测隐藏偏见,但在实际应用中应避免在模糊任务中使用这种提问方式。