arXiv ID:
2601.02780
MiMo-V2-Flash 技术报告 / MiMo-V2-Flash Technical Report
1️⃣ 一句话总结
这篇论文介绍了一个名为MiMo-V2-Flash的高效大型语言模型,它通过创新的专家混合结构和训练方法,在参数更少的情况下实现了与顶尖开源模型相媲美的推理和智能体能力,并且推理速度更快。
MiMo-V2-Flash 技术报告 / MiMo-V2-Flash Technical Report
这篇论文介绍了一个名为MiMo-V2-Flash的高效大型语言模型,它通过创新的专家混合结构和训练方法,在参数更少的情况下实现了与顶尖开源模型相媲美的推理和智能体能力,并且推理速度更快。
利用特权信息增强目标检测:一种模型无关的师生学习方法 / Enhancing Object Detection with Privileged Information: A Model-Agnostic Teacher-Student Approach
这篇论文提出了一种通用的师生学习框架,让目标检测模型在训练时能利用额外的精细信息(如掩码、深度图等)来提升性能,而在实际使用时无需这些信息,从而在不增加计算负担的情况下显著提高了检测准确率。
掩码教师与强化学生:用于蒸馏视觉语言模型 / Masking Teacher and Reinforcing Student for Distilling Vision-Language Models
这篇论文提出了一种名为Masters的新方法,通过逐步掩码大模型(教师)的非关键部分并结合强化学习奖励,来更稳定、高效地将大视觉语言模型的知识压缩到小模型(学生)中,解决了因模型尺寸差距大而导致的知识蒸馏效果不佳的问题。
Bolmo:将下一代语言模型字节化 / Bolmo: Byteifying the Next Generation of Language Models
这篇论文提出了一个名为Bolmo的新方法,它通过一种高效的“字节化”技术,将现有的基于子词的语言模型转换成基于字节的模型,从而在保持高性能的同时,解决了传统子词模型在字符理解和效率上的局限,并且转换成本极低。
GTR-Turbo:合并的检查点悄然成为智能视觉语言模型训练的免费导师 / GTR-Turbo: Merged Checkpoint is Secretly a Free Teacher for Agentic VLM Training
这篇论文提出了一种名为GTR-Turbo的高效训练方法,它通过合并训练过程中产生的模型检查点来创建一个‘免费’的指导模型,从而在无需依赖昂贵外部模型的情况下,显著提升了视觉智能体的性能,并大幅降低了训练时间和计算成本。
快速基础立体视觉:实时零样本立体匹配 / Fast-FoundationStereo: Real-Time Zero-Shot Stereo Matching
这篇论文提出了一种名为Fast-FoundationStereo的新型立体视觉架构,它首次在保持强大零样本泛化能力的同时,实现了实时运行速度,比之前的先进模型快10倍以上。
KD-OCT:用于临床级视网膜OCT分类的高效知识蒸馏方法 / KD-OCT: Efficient Knowledge Distillation for Clinical-Grade Retinal OCT Classification
这篇论文提出了一种名为KD-OCT的新方法,它通过知识蒸馏技术,将一个大而准的复杂眼科诊断模型压缩成一个小而快的轻量模型,在保持高精度的同时,让模型能部署在临床或边缘设备上,用于实时筛查老年性黄斑变性等眼病。
MemLoRA:为设备端内存系统提炼专家适配器 / MemLoRA: Distilling Expert Adapters for On-Device Memory Systems
这项研究提出了一种名为MemLoRA的新方法,它通过为小型语言模型配备专门训练的记忆适配器,使其能在手机等设备上高效运行,实现媲美大型模型的记忆增强对话和视觉理解能力,同时保护用户隐私。
缓解统一多模态模型持续学习中的模态内与模态间遗忘 / Mitigating Intra- and Inter-modal Forgetting in Continual Learning of Unified Multimodal Models
这篇论文提出了一种名为MoDE的轻量级架构,通过将不同模态的学习过程解耦,有效解决了统一多模态模型在持续学习新任务时,不仅会在单一模态内部遗忘旧知识,还会在不同模态之间相互干扰导致遗忘的关键难题。
SpeContext:利用大语言模型中的推测性上下文稀疏性实现高效长上下文推理 / SpeContext: Enabling Efficient Long-context Reasoning with Speculative Context Sparsity in LLMs
这篇论文提出了一种名为SpeContext的新方法,它通过使用一个轻量化的“蒸馏”模型来智能筛选长文本中的关键信息,并结合软硬件协同优化,在几乎不影响大模型回答准确性的前提下,大幅提升了长文本处理的速度和效率。
请先 登录 后再提交论文