arXiv ID:
2603.10493
一种通用的内在维度最近邻估计器 / A Universal Nearest-Neighbor Estimator for Intrinsic Dimensionality
1️⃣ 一句话总结
这篇论文提出了一种基于最近邻距离比率的全新方法,能够简单高效且无需依赖数据分布假设地准确估计出高维数据的真实内在维度。
一种通用的内在维度最近邻估计器 / A Universal Nearest-Neighbor Estimator for Intrinsic Dimensionality
这篇论文提出了一种基于最近邻距离比率的全新方法,能够简单高效且无需依赖数据分布假设地准确估计出高维数据的真实内在维度。
迈向无参数时间差分学习 / Towards Parameter-Free Temporal Difference Learning
这篇论文提出了一种使用指数步长调度的新方法,让强化学习中的核心算法——时间差分学习——无需依赖难以获取的问题特定参数,就能在理论和实践中都实现高效稳定的收敛。
凸与非凸联邦学习中陈旧随机梯度的处理:递减步长是唯一所需 / Convex and Non-convex Federated Learning with Stale Stochastic Gradients: Diminishing Step Size is All You Need
这篇论文证明,在分布式联邦学习场景中,当各参与方的梯度信息可能存在延迟、偏差或陈旧时,使用预先设定好的递减步长策略,就能达到与复杂自适应步长方法相同的优化效果,并且适用于非凸和强凸目标函数。
HomeAdam:Adam与AdamW算法有时“回家”以获得更好的可证明泛化性能 / HomeAdam: Adam and AdamW Algorithms Sometimes Go Home to Obtain Better Provable Generalization
这篇论文提出了一种名为HomeAdam的新优化算法,它通过让Adam/W算法在某些步骤中切换回类似SGD的动量更新,在理论上同时实现了比原始Adam更快的收敛速度和更优的泛化性能。
关于带有前向与后向扰动随机梯度下降的收敛性研究 / On the Convergence of Stochastic Gradient Descent with Perturbed Forward-Backward Passes
这篇论文首次系统分析了深度学习训练中,前向和后向计算过程同时存在扰动时随机梯度下降的收敛性,解释了训练中常见的梯度尖峰现象,并给出了扰动不影响最终收敛速度的条件。
少即是多:在更长周期内减少数据权重更新的收敛优势 / Less is More: Convergence Benefits of Fewer Data Weight Updates over Longer Horizon
这篇论文通过理论分析和实验证明,在训练机器学习模型时,用于调整不同训练数据源权重的‘数据混合’任务中,相比频繁更新权重,将计算资源更多地用于模型参数更新(即减少权重更新次数但每次更新前进行更充分的模型训练)反而能带来更好的收敛效果。
矩阵随机镜像下降的隐式偏差与收敛性 / Implicit Bias and Convergence of Matrix Stochastic Mirror Descent
这篇论文证明了在参数多于训练样本的过参数化场景下,用于多分类和矩阵补全问题的矩阵随机镜像下降算法会快速收敛到一个全局解,并且这个解由算法选择的特定‘镜像函数’唯一决定,从而揭示了算法在高维多输出问题中如何形成内在偏好。
基于三算子分裂的自适应去中心化复合优化 / Adaptive Decentralized Composite Optimization via Three-Operator Splitting
这篇论文提出了一种新的去中心化网络优化方法,让网络中的每个节点能够自主调整计算步长,从而高效地解决一类包含平滑和非平滑函数的复杂优化问题,并在理论上保证了收敛速度。
平均奖励马尔可夫决策过程中差分时序差分学习的几乎必然收敛性 / Almost Sure Convergence of Differential Temporal Difference Learning for Average Reward Markov Decision Processes
这篇论文为强化学习中用于评估长期性能的平均奖励算法提供了更实用的理论保证,证明了差分时序差分学习在更贴近实际应用的条件下也能稳定收敛。
线性二次随机微分博弈中的分布式均衡学习:一种α-势能方法 / Learning Distributed Equilibria in Linear-Quadratic Stochastic Differential Games: An $α$-Potential Approach
这篇论文证明了在多智能体线性二次随机微分博弈中,每个智能体仅依赖自身状态并独立更新策略的梯度学习方法,能够高效收敛到一个均衡点,其收敛速度与智能体数量线性相关,且均衡的近似程度取决于智能体间交互的不对称性。
请先 登录 后再提交论文