arXiv ID:
2602.17465
基于熵的语言模型数据选择方法 / Entropy-Based Data Selection for Language Models
1️⃣ 一句话总结
本文提出了一种基于熵的无监督数据选择框架,能在计算资源受限的情况下,高效筛选出高质量的训练数据,从而显著降低大语言模型微调所需的计算成本和数据量。
基于熵的语言模型数据选择方法 / Entropy-Based Data Selection for Language Models
本文提出了一种基于熵的无监督数据选择框架,能在计算资源受限的情况下,高效筛选出高质量的训练数据,从而显著降低大语言模型微调所需的计算成本和数据量。
学习动力学的基本定律与学习者的核心 / Laws of Learning Dynamics and the Core of Learners
这篇论文提出了支配学习过程的两条基本定律(守恒律和总熵减少律),并基于此开发了一种新的终身集成学习方法,该方法在防御对抗性攻击的测试中,比简单平均模型的方法表现更好,尤其在强干扰下优势明显。
数据分布至关重要:从数据中心的视角看大语言模型的上下文压缩 / Data Distribution Matters: A Data-Centric Perspective on Context Compression for Large Language Model
这篇论文首次从数据本身的角度研究发现,输入数据的复杂程度以及模型内部知识的不匹配,是影响大语言模型压缩长文本效率的关键因素,并据此提出了优化压缩效果的实用建议。
熵自适应微调:解决置信冲突以缓解遗忘 / Entropy-Adaptive Fine-Tuning: Resolving Confident Conflicts to Mitigate Forgetting
这篇论文提出了一种名为‘熵自适应微调’的新方法,通过识别并抑制模型自身高度自信但与外部监督相冲突的‘置信冲突’数据,在保持模型下游任务性能的同时,有效缓解了传统监督微调导致的灾难性遗忘问题。
少数关键令牌决定成败:基于熵的视觉-语言模型攻击方法 / Few Tokens Matter: Entropy Guided Attacks on Vision-Language Models
这篇论文发现,视觉-语言模型在生成文本时,只有大约20%的关键位置(高熵令牌)对输出结果起决定性作用,通过集中攻击这些位置,就能用很小的代价让模型产生大量有害内容,从而揭示了现有模型安全机制的重大漏洞。
请先 登录 后再提交论文