arXiv ID:
2606.23179
EML树是通用逼近器 / EML Trees Are Universal Approximators
1️⃣ 一句话总结
本文证明了一种名为EML(指数-减-对数)的数学函数,当以树状结构组合时,能够像神经网络一样逼近任意复杂的数学函数,并提出了相应的学习算法,为函数逼近提供了一种新的理论框架。
EML树是通用逼近器 / EML Trees Are Universal Approximators
本文证明了一种名为EML(指数-减-对数)的数学函数,当以树状结构组合时,能够像神经网络一样逼近任意复杂的数学函数,并提出了相应的学习算法,为函数逼近提供了一种新的理论框架。
面向气候模拟的最优情景设计方法 / Optimal scenario design for climate emulation
本文提出一种通过优化训练数据(即气候变化情景)来提升AI气候模拟器泛化能力的方法,发现使用精心设计的一个优化情景训练出的模拟器,其预测效果甚至超过用六个传统标准情景训练出的模型,从而为在计算资源有限时如何高效构建高质量气候代理模型提供了新思路。
FOSC-X:用于从聚类层次结构中提取最优局部划分和非水平聚类的扩展框架 / FOSC-X: An Extended Framework for Optimal Local Cuts and Non-Horizontal Cluster Selection from Clustering Hierarchies
本文提出了FOSC-X框架,能从聚类层次树中自动找出多个全局最优的平面聚类方案(而非仅一个),并在必要时限制聚类数量,通过高效动态规划算法同时保证解的质量和计算速度,从而发现被传统方法忽略的多种有意义的聚类结构。
LoRA优化中缩放因子的隐藏力量 / The Hidden Power of Scaling Factor in LoRA Optimization
本文揭示了在低秩适配(LoRA)微调中,缩放因子α比学习率更能有效控制优化过程,通过理论分析和实验发现α能放大任务信号而不增加噪声,且最优α与秩存在平方根关系,据此提出LoRA-α框架,使模型在标准小学习率下也能稳定提升性能,大幅简化超参数调优。
物理信息神经算子求解参数化偏微分方程的训练方法研究 / On the training of physics-informed neural operators for solving parametric partial differential equations
本文系统研究了如何高效训练物理信息神经算子(PINOs),发现连续视觉变换器(CViT)架构表现最稳定,且物理约束训练在某些情况下能超越纯数据驱动方法,同时揭示了梯度冲突等优化难题并验证了现有缓解方法的有效性。
和弦序列分析中的调性简约性:结合调性转换成本与调性词汇量 / Tonal parsimony in chord-sequence analysis: combining modulation cost and tonal vocabulary
本文提出一种称为“调性简约性”的新方法,通过同时最小化调性转换次数和使用的调性数量,在保留最优调性转换的基础上显著减少了调性词汇量,从而更高效、更准确地分析和弦序列的调性变化,并在大量爵士乐数据中验证了其有效性。
通用思考者:通过似然引导的答案条件优化实现通用推理 / GeneralThinker: Domain-General Reasoning through Likelihood-Guided Answer-Conditioned Optimization
本文提出了一种名为GeneralThinker的通用推理训练框架,它不再依赖特定领域的验证器,而是通过计算最终正确答案的模型似然度来评估推理过程,并对每一步推理进行精细的奖励或惩罚,从而在数学、科学和通用推理等多种任务中均取得最佳效果。
最优岭回归正则化再探 / Optimal ridge regularization revisited
本文提出了一种迭代算法,能够从数据生成参数中计算出岭回归的最优正则化强度,并在有限噪声下确保收敛,实验表明该算法结合样本估计可在不同样本量和噪声水平下达到接近最优的泛化性能。
基于比率单调变换的概率平滑方法在全局优化中的应用 / Probabilistic Smoothing with Ratio-Monotone Transforms for Global Optimization
本文提出了一种通用的概率平滑框架,通过结合灵活的单峰对称核和单调比率变换,避免了传统方法对高斯核的依赖和超参数敏感问题,在保证全局最优解不变的前提下,显著提升了高维优化问题的鲁棒性和性能。
EMA-Nesterov:稳定Nesterov前瞻机制以加速深度学习优化 / EMA-Nesterov: Stabilizing Nesterov's Lookahead for Accelerated Deep Learning Optimization
该论文提出一种名为EMA-Nesterov的简单优化改进方法,通过用指数移动平均(EMA)替代传统Nesterov动量中的短视前瞻方向,有效过滤随机梯度噪声,捕捉训练轨迹的低频趋势,从而在深度学习(如语言模型预训练)中实现更稳定、更快的收敛,并兼容多种主流优化器。
请先 登录 后再提交论文