谷歌研究让AI学会睡眠，解决大模型学后遗忘难题
原文：AI Learns to Sleep: Google Wants to Cure Large Models' Chronic Forgetting-While-Learning Problem
大模型出厂即“定终身”。喂给它新知识，要么对话一结束就消失，要么强行灌入后把旧知识忘个精光。Google在10月27日试图解决这个两难，发布了一套“睡眠框架”。相关论文题为《Language Models Need Sleep》，直言：模型也该像人一样通过睡眠巩固记忆。这一由Google Research公开发布的方法，瞄准的是行业顽疾“知识截止”问题。醒时干活，睡时整理 该框架将模型的运行分为两个阶段。在清醒阶段，它照常接收输入，先把信息放入短期记忆；一旦进入睡眠，就暂停接任务，专注记忆巩固与自我提升。关键在于“记忆巩固”：借助参数扩展、专家混合记忆块和知识蒸馏，把脆弱的短期上下文写入长期参数，同时不覆盖已有知识。此外还有“做梦”阶段，模型自行生成并筛选合成训练样本，通过强化学习反复练习，让推理和泛化更顺畅。相比传统反复微调导致的“灾难性遗忘”，睡眠式巩固像是在模型里装了一道防遗忘闸门。零遗忘的野心 实验数据很诱人：该框架在持续翻译、长上下文理解、事实吸收和数学推理上击败多数基线；能消化约1000万token的上下文，在未见语言的多阶段持续学习中性能几乎不降；在AIME 24/25等数学基准上还取得更高准确率。若真能落地，意味着“知识截止”的魔咒有望被打破。