基于认知科学的大语言模型推理能力分析框架 / Cognitive Foundations for Reasoning and Their Manifestation in LLMs
1️⃣ 一句话总结
该论文提出了一个基于认知科学的统一框架,通过分析28个认知要素来系统评估大语言模型的推理能力,并开发了测试时推理引导方法,在复杂问题上将性能提升高达66.7%。
请先 登录 后再提交论文
基于认知科学的大语言模型推理能力分析框架 / Cognitive Foundations for Reasoning and Their Manifestation in LLMs
该论文提出了一个基于认知科学的统一框架,通过分析28个认知要素来系统评估大语言模型的推理能力,并开发了测试时推理引导方法,在复杂问题上将性能提升高达66.7%。
理解语言意味着什么? / What does it mean to understand language?
这篇论文提出,真正的语言理解不仅仅是分析文字表面意思,而是需要大脑将语言信息传递给负责感知、运动和记忆的其他脑区,从而构建出丰富的心理模型。
工作负载调度器——起源、算法与差异 / Workload Schedulers -- Genesis, Algorithms and Differences
这篇论文提出了一种新的分类方法,将现代工作负载调度器分为操作系统进程调度器、集群系统作业调度器和大数据调度器三大类,并分析了它们的演变历程、算法特点及异同点,揭示了本地与分布式系统在调度策略设计上的共同关注点。
DoPE:去噪旋转位置编码 / DoPE: Denoising Rotary Position Embedding
这篇论文提出了一种无需训练的去噪方法DoPE,通过检测并修正位置编码中的异常频率成分,有效解决了Transformer模型在处理长文本时注意力失衡的问题,显著提升了模型在超长上下文中的检索准确性和推理稳定性。
多头注意力机制的强彩票假说 / The Strong Lottery Ticket Hypothesis for Multi-Head Attention Mechanisms
这篇论文证明了在随机初始化的多头注意力网络和Transformer中,无需训练即可找到性能优秀的子网络,从而近似实现任意目标网络的功能。
顺序优势:在同等计算量下,逆熵投票优于并行自一致性方法 / The Sequential Edge: Inverse-Entropy Voting Beats Parallel Self-Consistency at Matched Compute
这项研究发现,在相同计算资源下,让语言模型通过顺序迭代改进答案的方法,比同时运行多个独立推理链的并行方法更有效,并通过一种新的逆熵加权投票技术进一步提升了准确率。
忘记比特,一切围绕TOKEN:面向大语言模型的语义信息理论 / Forget BIT, It is All about TOKEN: Towards Semantic Information Theory for LLMs
这篇论文提出了一个以语义单元‘TOKEN’为核心的大语言模型信息理论框架,从信息论角度解释了大语言模型在预训练、微调和推理阶段的工作原理,并为不同模型架构提供了统一的理论分析工具。
视觉扩散模型作为几何求解器 / Visual Diffusion Models are Geometric Solvers
这篇论文发现标准的视觉扩散模型能够通过将几何问题转化为图像生成任务,直接解决包括内接正方形问题在内的多个著名几何难题,无需专门设计模型结构。
使用范畴论进行文档理解、度量与操作 / Document Understanding, Measurement, and Manipulation Using Category Theory
这篇论文利用范畴论将文档表示为问答对的结构,并基于此开发了信息度量、内容摘要与扩展方法,以及一种自监督技术来改进大型预训练模型的一致性。
AlphaFlow:理解与改进MeanFlow模型 / AlphaFlow: Understanding and Improving MeanFlow Models
这篇论文发现现有MeanFlow生成模型存在优化冲突问题,并提出了一种新的AlphaFlow方法,通过渐进式训练策略有效解决了冲突,在图像生成任务上取得了更快的收敛速度和更好的性能表现。