arXiv ID:
2607.05985
arXiv 提交日期: 2026-07-07
审视自动设计结构矩阵生成:一个用于评估大语言模型的黑盒方法 / Auto-DSM Under the Lens: A Black-Box Evaluation Framework for LLM-Based DSM Generation
1️⃣ 一句话总结
本文提出了一套黑盒评估框架,通过对比大语言模型自动生成的系统组件依赖关系图(设计结构矩阵)与人工验证的标准答案,并用结构性、分类准确性和稳定性等指标综合打分,揭示了当前模型在输入清晰时表现良好,但在处理模糊表述和不一致定义时容易出错或拒绝回答,为未来在系统工程中安全使用AI工具提供了测试基准。