Google 提出 sleep 框架，让 LLM 在持续学习中保留知识

Google Research 提出 sleep 框架，让 LLM 在活跃交互与离线睡眠阶段之间交替，把短期上下文巩固进长期参数。睡眠阶段通过 MoE 参数扩展、基于 GKD 与 RL 模仿学习（LTI）的知识播种以及突触剪枝完成记忆巩固，再通过随机专家选择、梯度筛选的合成样本和 RL 精修进行自我提升。