arXiv ID:
2601.19897
自蒸馏实现持续学习 / Self-Distillation Enables Continual Learning
1️⃣ 一句话总结
这篇论文提出了一种名为‘自蒸馏微调’的新方法,让大模型能够像学生一样,通过模仿自己过去的优秀表现来学习新技能,从而在不断学习新知识的同时,有效防止忘记旧本领。
自蒸馏实现持续学习 / Self-Distillation Enables Continual Learning
这篇论文提出了一种名为‘自蒸馏微调’的新方法,让大模型能够像学生一样,通过模仿自己过去的优秀表现来学习新技能,从而在不断学习新知识的同时,有效防止忘记旧本领。
创新者-VL:一个用于科学发现的多模态大语言模型 / Innovator-VL: A Multimodal Large Language Model for Scientific Discovery
这篇论文提出了一个名为Innovator-VL的多模态大模型,它通过精心设计的训练方法和少量高质量数据,就能在科学理解和通用视觉任务上都表现出色,证明了高效、可复现的科学AI模型无需依赖海量数据。
重新审视大语言模型后训练中的参数服务器范式 / Revisiting Parameter Server in LLM Post-Training
本文提出了一种名为‘按需通信’的新方法,通过将参数服务器思想融入主流训练框架,有效解决了大语言模型后训练中因序列长度差异导致的计算负载不均衡问题,从而显著提升了设备利用率和训练速度。
GPCR-Filter:用于高效精确发现GPCR调节剂的深度学习框架 / GPCR-Filter: a deep learning framework for efficient and precise GPCR modulator discovery
这篇论文提出了一个名为GPCR-Filter的深度学习工具,它通过结合蛋白质语言模型和图神经网络,能高效、准确地预测并发现作用于G蛋白偶联受体的新型药物分子,为复杂靶点的药物研发提供了强大的AI解决方案。
选择性导向:通过判别性层选择实现规范保持的控制 / Selective Steering: Norm-Preserving Control Through Discriminative Layer Selection
这篇论文提出了一种名为‘选择性导向’的新方法,通过数学上严格的规范保持旋转和智能选择关键网络层,在大语言模型推理时更稳定、高效地控制其行为,使其既能有效抵御恶意攻击,又几乎不影响模型的正常能力。
黎曼环境流:面向从损坏数据中同时进行流形学习与生成建模 / Riemannian AmbientFlow: Towards Simultaneous Manifold Learning and Generative Modeling from Corrupted Data
这篇论文提出了一个名为‘黎曼环境流’的新框架,能够直接从有噪声或损坏的观测数据中,同时学习数据的概率生成模型和揭示其内在的几何结构(即数据所在的非线性流形),为科学和成像应用中的逆问题提供了理论保证和实用工具。
针对北极恶劣环境下野生动物检测与计数的弱监督框架:以北美驯鹿为例 / Weakly supervised framework for wildlife detection and counting in challenging Arctic environments: a case study on caribou (Rangifer tarandus)
本研究提出了一种名为HerdNet的弱监督预训练方法,通过仅使用图像块是否包含动物的粗略标签进行预训练,有效提升了在背景复杂、目标小而稀疏的北极航拍图像中自动检测和统计北美驯鹿的准确性与可靠性。
AI赋能的卫星边缘计算:一种基于单像素特征的浅层高光谱图像分类模型 / AI-enabled Satellite Edge Computing: A Single-Pixel Feature based Shallow Classification Model for Hyperspectral Imaging
这篇论文提出了一种轻量级、非深度学习的AI模型,让卫星能在自身资源有限的情况下,直接在太空边缘端快速、准确地识别高光谱图像中的地物类型,从而解决卫星数据下传速度慢、无法满足灾害监测等实时应用需求的瓶颈问题。
SICL-AT:一种将听觉大语言模型适配于低资源任务的新方法 / SICL-AT: Another way to adapt Auditory LLM to low-resource task
本文提出了一种名为SICL-AT的后训练方法,它仅需利用高资源语音数据来增强听觉大语言模型的上下文学习能力,从而使其在数据稀缺或分布不匹配的低资源音频理解任务中,表现优于直接微调。
从深度到解剖:基于体表深度图像学习内部器官定位 / Depth to Anatomy: Learning Internal Organ Locations from Surface Depth Images
这篇论文提出了一种基于深度学习的方法,能够仅通过一张人体表面的二维深度图像,直接预测出多个内部器官的三维位置和形状,从而有望实现自动化、更精准的医疗扫描患者摆位。
请先 登录 后再提交论文