大模型出厂即"定型",新知识喂进去,要么随对话散场就丢,要么硬塞之后把旧本事忘光——这道两难,谷歌 10 月 27 日甩出一套"睡眠框架"(Sleep Framework)试图化解。相关论文题为《Language Models Need Sleep》,直白点出:模型也该像人一样,靠睡眠来巩固记忆。这套思路由 Google Research 公开发布,瞄准的正是行业久治不愈的"知识截止日"顽疾。

清醒干活,睡时整理

框架把模型运行切成两段。清醒阶段,它照常接收输入,把信息先放进短期记忆;一旦转入睡眠,便暂停接活,专心做记忆整合与自我改进。关键在"记忆巩固":借助参数扩展、混合专家记忆块与知识蒸馏,把易碎的短期上下文写进长期参数,又不覆盖既有知识。另设"做梦"环节,让模型自己生成并筛选合成训练样本,靠强化学习反复练手,把推理与泛化磨得更顺。相比传统反复微调引发"灾难性遗忘",睡眠式整合相当于给模型装了道防丢闸门。

零遗忘的野心

实验数据给得诱人:框架在持续翻译、长上下文理解、事实吸收与数学推理上压过多数基线;可消化最长约 1000 万 token 的上下文,在未见语言的多阶段持续学习里,性能几乎零下降;AIME 24/25 等数学基准也拿到更高准确率。若真能落地,意味着"知识截止日"有望被打破——模型不再发布即过时,而是边用边长本事,还不忘老本行。对需要持续吸收新信息的医疗、金融与法务场景,这套机制显然比周期性重训更划算。