📄 论文总结
LiveSecBench：针对中文语言模型应用的动态安全基准 / LiveSecBench: A Dynamic Security Benchmark for Chinese LLM Applications
1️⃣ 一句话总结
LiveSecBench是一个专门针对中文语言、社会文化和法律框架设计的动态更新安全基准，通过六个维度评估大语言模型的安全性，并采用ELO评级系统进行模型排名。
2️⃣ 论文创新点
1. 动态更新机制
- 创新点：基准测试问题和评估维度均采用动态更新，定期纳入新兴AI应用场景中的最新攻击方法
- 区别/改进：克服了静态基准容易过时的问题，能够持续跟踪快速演变的威胁态势
- 意义：为中文LLM安全提供更准确、相关的评估，避免模型对已知基准的过拟合
2. 文化相关性设计
- 创新点：专门针对中文语境设计，能够捕捉间接表达、文化成语、谐音双关和文化特定禁忌等独特风险因素
- 区别/改进：解决了现有英文基准在中文语境下失效的问题
- 意义：为中文生态系统提供更真实有效的安全评估
3. 多维度安全评估框架
- 创新点：从六个关键维度全面评估模型安全性，包括对抗鲁棒性和推理安全等深度指标
- 区别/改进：超越传统的内容安全检测，涵盖模型内部推理过程和复杂攻击抵御能力
- 意义：提供更全面的安全风险评估
4. 文生图安全性评估
- 创新点：评估图像生成或描述模型的安全性，特别是过滤非法、有害或文化不当视觉内容的能力
- 区别/改进：扩展基准评估范围至多模态领域
- 意义：应对文生图模型带来的新型安全风险
5. 智能体安全性评估
- 创新点：评估在自主或智能体框架下运行的模型安全性，包括抵御基于工具使用的攻击和恶意指令链的能力
- 区别/改进：针对AI智能体应用场景设计专门的安全评估
- 意义：解决AI智能体在复杂环境中可能面临的安全威胁
3️⃣ 主要结果与价值
结果亮点
- 当前版本v251030已评估18个LLM，GPT-5-Mini在整体得分最高(77.30)，DeepSeek-R1-0528在伦理和隐私维度领先，Claude-Haiku-4.5在推理安全维度最优
- 采用ELO评级系统和瑞士制配对策略，确保公平高效的匹配，避免重复对决，提供细粒度的每维度排名和整体安全排名
- 所有测试问题都经过人工筛选和验证，按攻击类型和难度分类，强调文化相关性、多样性和质量有效性
实际价值
- 为中文用户提供更准确、及时的安全评估，帮助开发者和用户了解不同模型的安全性能
- 采用被动评估机制，数据集不公开，开发者需联系研究团队提交模型并获取详细评估报告，确保测试问题的敏感性
- 基准设计为动态更新，计划纳入文生图安全和智能体安全等新评估维度，应对不断变化的安全挑战
4️⃣ 术语表
- LiveSecBench：针对中文语言LLM应用场景的动态持续更新安全基准，包含多个评估维度（如合法性、伦理、事实性、隐私、对抗鲁棒性、推理安全），用于排名模型安全性能
- 对抗鲁棒性：模型抵抗对抗攻击和越狱技术的能力
- ELO rating system：用于竞争性排名的系统，通过计算预期胜率和实际结果更新模型评分，常用于头对头比较
- Agentic Safety：智能体安全性，评估在自主框架下运行的模型抵抗工具使用攻击和恶意指令链的能力
- LiveCodeBench：用于大语言模型代码能力的整体且无污染评估框架，强调整体性和无污染评估
- AgentPoison：通过污染记忆或知识库来红队测试LLM代理的方法