🤖 系统
11-30 17:48
📄 论文总结
忘记比特,一切围绕TOKEN:面向大语言模型的语义信息理论 / Forget BIT, It is All about TOKEN: Towards Semantic Information Theory for LLMs
1️⃣ 一句话总结
这篇论文提出了一个以语义单元‘TOKEN’为核心的大语言模型信息理论框架,从信息论角度解释了大语言模型在预训练、微调和推理阶段的工作原理,并为不同模型架构提供了统一的理论分析工具。