【要約】Googleの「睡眠フレームワーク」：LLMが継続学習で知識を保つ新しい方法
出典: Google Research「The sleep framework: A new way for LLMs to retain knowledge in continual learning」（2026年10月27日公開）
著者: Ali Behrouz、Vahab Mirrokni
論文: arXiv:2606.03979
※本記事は元記事の内容を日本語で要約・整理したもので、翻訳ではありません。数値・図表の詳細は元記事をご確認ください。
ひとことで言うと
「昼に経験したことを、夜寝ている間に長期記憶として脳に定着させる」仕組みをLLMに持たせた研究です。
背景と課題
現在のLLMは事前学習とIn-Context Learning（ICL、文脈内学習）で高い性能を出しますが、一度デプロイされるとほぼ固定され、知識カットオフ以降の情報を長期的に身につけられません。新データで追加学習すると「破滅的忘却」（新しいことを覚えると古い能力が壊れる）が起き、ICLに頼ると会話セッションが終われば忘れてしまいます。
提案：睡眠フレームワーク
人間の脳が休息中に記憶を安定させる仕組みに着想を得て、LLMに周期的なライフサイクルを持たせ、壊れやすい短期の文脈を安定した長期パラメータへ統合する学習パラダイムを提案しています。
- 覚醒（Active）フェーズ：入力を処理し、一時情報を高速な短期メモリに置く
- 睡眠フェーズ：新しい入力を止め、記憶の統合と自己改善に計算を回す
なお「睡眠」「夢」といった言葉は神経科学からの借用で、実際は固定アーキテクチャと人間が定めた学習ルールの中で動きます。睡眠中に事前確保されたMoE（Mixture of Experts）のメモリブロックを解放し、自己生成した練習例で重みを更新する、自動化された事後学習サイクルです。
ステージ1：記憶の統合（ノンレム睡眠に相当）
- パラメータ拡張：MoEとHopeアーキテクチャを使い、新たに解放した低ランクのエキスパートを低頻度で更新される安定メモリ層に組み込み、古いパラメータを壊さずに新知識を格納
- 知識シーディング（上方向の蒸留）：高頻度層（文脈内メモリ等）にある短期記憶を、拡張した長期パラメータへ移す。手法は一般化知識蒸留（GKD）と強化学習ベースの模倣学習の組み合わせ
- シナプス刈り込み：統合が終わったら一時パラメータをリセットし、次の活動に備えて容量を空ける
ステージ2：夢による自己改善（レム睡眠に相当）
- 合成データ生成時にMoEのルーターがあえて普段使わないエキスパートをランダムに起動し、異なる知識領域を混ぜて潜在パターンを掘り起こす
- 合成サンプル（「夢」）を生成し、勾配ベースの選別で能力向上に最も効くものを優先
- 高評価の夢で教師ありファインチューニング（SFT）を行い、下流タスクで性能が上がるかを強化学習で確認
実験結果
いずれも元記事の報告で、当社では再現していません。
| 評価 | 睡眠フレームワークの結果 | 比較対象 |
|---|---|---|
| 継続翻訳（満州語、カラマン語などの未学習言語） | 多段階評価でも性能低下はほぼゼロ | ICL、Cartridges、SFTは深刻な忘却を起こした |
| 長文脈（BABILong） | 1000万トークンまでほぼ完璧にスケール | GPT-4、Titansを上回った |
| 知識の取り込み（SQuAD） | 単一タスク48.9%、継続事前学習評価46.2% | SFT、SEALを上回った |
| 数学推論 | AIME 24：79.2%、AIME 25：69.0%、HMMT 25：46.1% | SFT、GRPO、OPSDを上回った |
わかりやすい解説
たとえるなら、次のようになります。
- ICL（コンテキスト）＝ 机の上のメモ書き：すぐ使えるが、席を立つと捨てられる
- 普通の追加学習 ＝ 教科書を上書き：新しいことは覚えるが、前のページが消える（破滅的忘却）
- 睡眠フレームワーク ＝ 夜に新しいノートを1冊足して、メモを清書して綴じる：古いノートはそのまま、メモ用紙は捨てて翌日に備える
ポイントは3つです。
- 「書き足す」ので忘れない：新しい知識は新規に確保したMoEエキスパート（低ランク＝LoRA的に軽量）に入れるため、既存の重みを上書きしない。
- 自分の出力で学ぶ：先生（文脈を持った自分）の出し方を、生徒（拡張後の自分）が自分で生成した文章上で真似る（on-policy蒸留）。丸暗記ではなく「意味が保たれているか」を報酬にするので、要点を圧縮して覚える。
- 夢で応用力を鍛える：わざと普段と違う専門家の組み合わせで問題を作り、効きそうなものだけ選んで練習。単なるデータ水増しではなく、学習方向の偏りを減らす狙い。
実務目線での見方
現状の業務AIは「RAG＋長いプロンプト」で知識を補っていますが、この研究は「使いながら知識をモデル本体に定着させる」方向を示しています。将来的には、社内用モデルが夜間バッチで当日の問い合わせ・資料を吸収するような運用が考えられます。
ただし現時点では研究段階で、MoE＋Hopeという特定アーキテクチャが前提です。Claude APIやOllamaで動かす一般的なモデルにすぐ適用できるものではありません。また、誤った情報まで定着してしまうリスク（何を覚えさせるかの管理）や、睡眠フェーズの計算コストは記事では詳しく触れられていません。当面はRAGが主役で、これは「次世代の選択肢」として注目しておく位置づけが妥当です。