arXiv ID:
2509.04664
语言模型为何会产生幻觉 / Why Language Models Hallucinate
1️⃣ 一句话总结
这篇论文指出,语言模型产生幻觉是因为训练和评估过程鼓励模型在不确定时猜测答案,而不是承认不确定性,这源于统计分类错误和现有评测标准对猜测行为的奖励。
语言模型为何会产生幻觉 / Why Language Models Hallucinate
这篇论文指出,语言模型产生幻觉是因为训练和评估过程鼓励模型在不确定时猜测答案,而不是承认不确定性,这源于统计分类错误和现有评测标准对猜测行为的奖励。
Delta激活:一种用于微调后大语言模型的表示方法 / Delta Activations: A Representation for Finetuned Large Language Models
本文提出了一种名为Delta激活的新方法,通过测量微调后模型与基础模型内部激活的差异来生成向量表示,从而帮助有效分类和比较不同任务及领域的微调模型,促进模型复用。
迈向大语言模型后训练的统一视角 / Towards a Unified View of Large Language Model Post-Training
这篇论文提出了一个统一的理论框架,将大语言模型后训练的两种主流方法(基于人类示范的监督学习和基于模型生成数据的强化学习)视为同一优化过程的不同实例,并在此基础上开发了一种能动态选择训练信号的混合后训练算法,在多个数学推理基准测试中取得了优于现有方法的性能。
逆向IFEval:大语言模型能否忘记顽固的训练惯例以遵循真实指令? / Inverse IFEval: Can LLMs Unlearn Stubborn Training Conventions to Follow Real Instructions?
这篇论文提出了一个名为逆向IFEval的新基准测试,用于评估大语言模型在遇到与训练模式相冲突的反常指令时,能否克服固有偏见并正确执行任务,从而揭示其在非常规场景下的适应能力不足问题。
基于基准测试的大语言模型评估的鲁棒性与可靠性研究 / On Robustness and Reliability of Benchmark-Based Evaluation of LLMs
这篇论文通过系统测试发现,尽管大语言模型在基准测试中的排名相对稳定,但面对同一问题的不同表述时,其绝对性能会显著下降,这表明当前基于固定格式基准测试的评估方法可能无法准确反映模型在真实多变场景下的实际能力。
NER检索器:基于类型感知嵌入的零样本命名实体检索 / NER Retriever: Zero-Shot Named Entity Retrieval with Type-Aware Embeddings
这篇论文提出了一种无需预定义实体类型、直接根据用户描述检索相关实体的新方法,通过优化大语言模型内部表示并训练轻量级网络,实现了高效且灵活的零样本实体检索。
虚假的安全感:为何基于探测的恶意输入检测方法难以泛化 / False Sense of Security: Why Probing-based Malicious Input Detection Fails to Generalize
这篇论文指出,当前基于探测的大语言模型恶意输入检测方法实际上只学会了识别表面的指令模式和触发词,而非真正理解语义上的危害性,导致其在新场景下表现不佳,揭示了这类方法存在的泛化能力缺陷。
废话学:用深度解读无意义内容挑战大语言模型 / Drivel-ology: Challenging LLMs with Interpreting Nonsense with Depth
这篇论文提出了‘废话学’概念,指那些语法通顺但含义矛盾或隐含深意的表达,并通过构建多语言数据集证明当前大语言模型难以理解这类文本的深层语义,揭示了模型在语用理解上的局限性。
Loong:通过验证器大规模合成长链思维 / Loong: Synthesize Long Chain-of-Thoughts at Scale through Verifiers
这篇论文提出了一个名为Loong的开源框架,通过自动验证的合成数据生成和强化学习,帮助大语言模型在数学、化学等多种复杂推理领域提升其长链思维推理能力。
大型语言模型的行为指纹识别 / Behavioral Fingerprinting of Large Language Models
这篇论文提出了一种新的‘行为指纹’框架,通过分析模型在互动中的固有风格,揭示了不同大语言模型在核心推理能力趋于一致的同时,其迎合性、语义鲁棒性等互动行为却因开发者的对齐策略而存在显著差异。
请先 登录 后再提交论文