arXiv ID:
2607.08731
大语言模型作为数据标注者的有效性:以AMALIA对“权威”编码为例 / Validity of LLMs as data annotators: AMALIA on authority
1️⃣ 一句话总结
本文通过分解测试发现,葡萄牙国家语言模型AMALIA在识别文本中的“权威”道德基础时,虽然与人工编码的一致性很高,但主要依赖表面关键词(如道德愤怒)而非理论定义,说明其测量有效性和可迁移性不足,不能完全替代人类标注者;因此建议对主权大模型的评估不仅要看与人的一致性,更要检验其推理路径是否符合理论。