ロボットの世界モデルを制御に使うには：状態推定・予測・行動生成の役割分担

Wed, 24 Jun 2026 01:21:16 +0900

世界モデルを制御へ接続するとき、予測モデルと制御器を同じものとして扱ってよいのかが気になるテーマです。

先に結論

ロボットの世界モデルは、状態推定器や低レベル制御器を全面的に置き換えるものではなく、将来の状態・観測・報酬を予測して候補行動を比較する層として導入するのが現時点では妥当です。実装では、状態推定器が現在の状態または信念状態を高頻度に更新し、世界モデルがタスクレベルの将来を予測し、MPCや従来の制御器が制約付きの短時間実行を担当する階層構成が基本になります。

世界モデルをMPCの予測モデルとして使う場合も、実センサーから得た推定状態で繰り返し再計画します。予測不確実性が高いときは、計画ホライズンを短くする、制約を保守的に設定する、下位の従来制御器へ切り替える、といった設計が必要です。

なぜ役割分担が必要か

ロボット制御では、「いま何が起きているか」と「この行動を取ると何が起きるか」を分けて扱う必要があります。センサー観測はノイズや欠損を含み、カメラだけでは物理状態を直接得られない場合もあります。一方、将来予測はモデルの誤差に左右され、長い予測ほど誤差が蓄積します。

さらに、接触、摩擦、破損、急激な環境変化などでは、予測の小さな誤差が制御失敗へ直結する可能性があります。そのため、学習モデルが高い予測能力を示しても、安定性や制約を検証しやすい制御器を下位層に残す方が、安全性と検証可能性を確保しやすくなります。

前提となる三つの用語

状態推定は、センサー観測とシステムモデルを組み合わせ、現在の状態またはその確率分布を更新する処理です。部分観測環境では、過去の観測と行動から信念状態を形成し、それを意思決定に使います。状態推定そのものの目的は、行動系列を最適化することではありません。

世界モデルは、観測履歴や行動から将来の状態、観測、報酬などを予測する学習モデルを広く指します。必ずしも位置や速度などの物理状態を直接復元するものではなく、画像を圧縮した潜在状態と、その時間発展を学習する構成も含みます。このため、物理状態、信念状態、学習された潜在表現を同じ「状態」と呼ばないことが重要です。

**MPC（モデル予測制御）**は、予測モデルを使って有限時間の最適化問題を繰り返し解き、最初の制御入力だけを実行して、新しい観測を得た後に再計画する方法です。制約を明示的に扱いやすく、短い時間スケールの実行に適しています。

世界モデルは何を予測するのか

画像などの高次元観測をそのまま長期予測するのではなく、観測を潜在状態へ圧縮し、その潜在空間で将来軌道を予測する構成が考えられます。各候補行動列について潜在軌道、報酬、場合によっては予測不確実性を計算し、行動を比較します。

利用方法は大きく二つあります。一つは、世界モデルをオンライン計画器として使う方法です。PlaNetは画像から学習した潜在ダイナミクス上でオンライン計画を行い、PETSは確率的ニューラルネットワークのアンサンブル、軌道サンプリング、MPCを組み合わせています。後者では複数の予測を比較し、不確実性を考慮した行動選択を行います。

もう一つは、世界モデル内の想像ロールアウトを方策や価値関数の学習に使う方法です。Dreamerは潜在世界モデルで将来を想像し、価値関数と方策を学習します。この場合、実行時に毎回長い軌道最適化を行うのではなく、計画計算の一部を学習済み方策へ移せます。したがって、世界モデルはMPCと同義ではありません。

flowchart LR
  A["観測履歴・推定状態"] --> B["世界モデル"]
  B --> C1["潜在状態の時間発展"]
  B --> C2["将来の報酬・不確実性"]

  subgraph P["オンライン計画に使う方式"]
    D1["候補行動列"] --> D2["複数の軌道をロールアウト"]
    D2 --> D3["軌道・報酬・不確実性を比較"]
    D3 --> D4["最初の行動を実行"]
  end

  subgraph L["方策・価値学習に使う方式"]
    E1["想像ロールアウト"] --> E2["価値関数・方策を学習"]
    E2 --> E3["学習済み方策を実行"]
  end

  C1 --> D2
  C2 --> D3
  C1 --> E1
  D4 --> F["新しい実観測"]
  E3 --> F
  F --> A

世界モデルは、オンラインMPCなどで候補行動を比較する方式と、想像ロールアウトを方策・価値学習に利用する方式に分けて利用できます。

方式ごとの比較

構成	主な入力	主な出力	強み	主な制約
状態推定器＋従来制御器	センサー観測、物理モデル	状態・信念分布、制御入力	現在状態の更新と短時間制御を分担しやすい	複雑な視覚予測やデータ駆動の長期予測は別途必要
世界モデル＋オンラインMPC	観測履歴、推定状態、候補行動	潜在軌道、評価値、短期制御入力	画像入力から候補行動を比較でき、再計画できる	オンライン計画の計算量、モデル誤差、不確実性への対応が必要
世界モデル＋方策・価値学習	実データ、観測履歴、想像ロールアウト	方策、価値関数	実行時の計画計算を軽くできる可能性がある	モデルバイアスが方策学習へ伝播し、制約を直接扱いにくい場合がある
階層制御	推定状態、タスク目標、行動候補	上位目標、局所軌道、低レベル入力	世界モデルを上位予測に限定し、下位で制約と安全性を扱える	層間の時間スケール、遅延、故障時挙動を設計・検証する必要がある

実装時のデータフロー

基本構成は、センサー観測を状態推定器へ入力し、得られた信念状態を世界モデルとMPCへ渡す流れです。世界モデルは複数の将来軌道、報酬、不確実性を予測します。MPCはその情報と明示的な制約を使い、短期の制御入力を選択します。実行後に得た新しい観測で状態推定を更新し、同じ処理を繰り返します。