ロボット学習のアクティブラーニング：実機データ収集を不確実性とカバレッジで最適化する

実機データを増やすほど学習が良くなるとは限らない点が、このテーマで特に気になるところです。

先に結論

ロボット学習で次に収集する実機データは、単に失敗回数が多いものや、モデルの不確実性が高いものから選ぶべきではありません。タスク、状態、作業フェーズ、環境条件ごとに、不確実性、条件付き失敗リスク、既存データのカバレッジ不足、多様性、安全性、収集コストを組み合わせて判断します。

実装の出発点としては、候補となる状態や時間窓ごとに、次のような獲得スコアを計算します。

S(x)=w_uU(x)+w_fF(x)+w_cC(x)+w_dD(x)-w_kK(x)

ここで、Uは不確実性、Fは条件付き失敗リスク、Cはカバレッジ不足、Dは多様性・新規性、Kは収集コストまたは安全リスクです。スコア上位をそのまま大量収集するのではなく、似た候補が集中しないよう多様性制約を加え、収集後は固定した層別ホールドアウトで効果を検証します。

なぜ収集対象の選択が必要か

実機データには、ロボットの稼働時間、操作者の作業時間、設備の占有、安全監視などのコストがあります。データ量を増やしても、すでに十分観測された状態ばかりが追加されれば、未経験の初期条件や失敗直前の状態は埋まりません。

ロボットの模倣学習では、デモンストレーションの総量だけでなく、品質、タスクや状態の多様性、初期条件のばらつきが性能に関係します。したがって、全体の平均的な成功率だけでなく、どの条件が不足しているかを把握する必要があります。

判断に使う用語

不確実性は、モデルが入力に対してどれほど確信を持てないかを表します。たとえばMC dropoutでは、dropoutを有効にした確率的推論を複数回行い、予測の分散からモデル由来の不確実性を近似します。ただし、これは成功確率や失敗確率そのものではありません。センサー雑音、接触の偶然性、物体の滑りやすさのようなデータ固有の不確実性とは一致しない場合があります。

条件付き失敗リスクは、全体の失敗件数ではなく、特定の条件における失敗確率です。対象には、タスク、物体、初期姿勢、作業フェーズ、環境、操作者、ロボット構成などが含まれます。頻出する失敗でも、すでに十分な例が集まっていれば、追加収集の情報価値は低い可能性があります。

カバレッジ不足は、既存データで十分に観測されていない領域です。タスク・フェーズ別のヒストグラム、表現空間の近傍密度、クラスタ占有率、環境・物体・操作者の組み合わせなどで確認できます。全体平均ではなく、どの条件の組み合わせが空いているかを見ることがポイントです。

アクティブラーニングの仕組み

候補を作る単位は、エピソード全体に限りません。失敗直前の時間窓、接触イベント、タスクの初期状態、リカバリ操作などを候補にできます。各候補について、モデルの予測、過去ログ、状態分布を参照して指標を正規化します。

不確実性の選択には、MC dropout、アンサンブル分散、モデル間の行動不一致、予測エントロピー、価値関数の分散などが考えられます。失敗については、生の件数よりも条件付き失敗確率、失敗の重大度を加味した期待損失、回復可能性を考慮した優先度が適しています。

そのうえで、期待値の高い候補をバッチで選びます。不確実性上位だけを選ぶと、外れ値や互いに似たサンプルばかりになることがあります。代表性や多様性を組み込み、異なるクラスタ、作業フェーズ、環境条件が同じバッチに含まれるようにします。

flowchart LR
  A["既存データ・実機ログ"] --> B["タスク・状態・フェーズ・環境ごとに分割"]
  B --> C["候補状態・時間窓・接触イベントを作成"]
  C --> D["モデル推論"]
  C --> E["既存データ分布の分析"]
  C --> F["安全性・収集コストの確認"]
  D --> G["不確実性を推定"]
  D --> H["条件付き失敗リスクを推定"]
  E --> I["カバレッジ不足・新規性を計算"]
  G --> J["獲得スコアを統合"]
  H --> J
  I --> J
  F --> J
  J["S(x)=w_uU+w_fF+w_cC+w_dD-w_kK"] --> K["多様性制約付きバッチ選択"]
  K --> L{"安全確認を通過したか"}
  L -->|"はい"| M["人間デモ・自律試行・リカバリ試行を割り当て"]
  L -->|"いいえ"| N["候補を除外または条件を再設計"]
  M --> O["実機データを収集"]
  O --> P["モデルを再学習"]
  P --> Q["固定した層別ホールドアウトで評価"]
  Q --> R["未観測条件・成功率・回復率・安全性を確認"]
  R --> C
  N --> C

指標と選択方法の比較

実装の流れ

まず、ログにタスク名だけでなく、物体、初期姿勢、作業フェーズ、環境、照明、操作者、ロボット構成、成功・失敗、失敗の重大度、リカバリ結果を記録します。次に、既存データを条件別に分割し、状態ごとの露出回数と失敗確率を推定します。

モデルからは候補状態に対する不確実性を取得し、データ分布からカバレッジ不足と新規性を計算します。これらを獲得スコアへ統合し、同じ条件に偏らないバッチを選びます。安全確認を通過した候補について、人間による追加デモ、自律試行、失敗リカバリ試行のいずれかを割り当てます。

実機収集だけでカバレッジを広げる必要はありません。MimicGenのように、少数の人間デモをサブタスク単位で再利用し、異なる初期条件や配置へ軌道を再ターゲットする方法もあります。ただし、生成データが実機センサー分布や接触ダイナミクスを完全に再現するわけではありません。生成データは状態分布の拡張に使い、実機データで確認すべき領域と役割を分けます。

評価で避けるべき落とし穴

収集対象を選ぶために使ったログを、そのまま改善効果の評価に使うと、選択バイアスや評価データの汚染が起きます。タスク、フェーズ、環境条件を層別した固定ホールドアウトを先に確保し、追加データの選択には使わないことが必要です。

評価指標は全体成功率だけでは不十分です。選択した条件での成功率、失敗回復率、未観測条件への汎化性能、安全違反率、1エピソード当たりの改善量を確認します。特に、追加データが既知の失敗だけを繰り返し学習させていないか、未カバー領域にも効果があるかを分けて見るべきです。

重みw_u、w_f、w_c、w_dに普遍的な正解はありません。タスク、モデル、ロボット、収集コストによって変わるため、固定値を前提にせず、ホールドアウト評価を通じて調整します。また、MC dropout、アンサンブル、行動分布のエントロピーのどれが最も校正されるかも、対象システムごとに検証が必要です。

どのような場合に採用すべきか

アクティブラーニングは、実機試行のコストが高く、ログに条件情報があり、モデル更新を繰り返せる場合に向いています。特に、失敗が特定のフェーズや環境に偏っている場合、全体のデータ量を増やすより、条件付きの不足領域を埋める方が判断しやすくなります。

一方、条件の記録が不十分で、失敗確率やカバレッジを分解できない場合は、まず計測設計を整える必要があります。危険な失敗をどこまで追加収集するかも、安全制約、損傷リスク、人的監視コストに依存するため、一律の閾値では決められません。

まとめ

次に集める実機データは、失敗回数の単純なランキングではなく、不確実性、条件付き失敗リスク、カバレッジ不足、多様性、安全性、コストを統合して選びます。候補を多様性制約付きでバッチ化し、実機データと生成データを役割分担させ、固定ホールドアウトで未観測条件への効果まで評価することが、継続的なデータ収集の基本設計になります。

参考情報

• Active Learning Literature Survey
• Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning
• What Matters in Learning from Offline Human Demonstrations for Robot Manipulation
• MimicGen: A Data Generation System for Scalable Robot Learning using Human Demonstrations
• Open X-Embodiment: Robotic Learning Datasets and RT-X Models
• DROID: A Large-Scale In-the-Wild Robot Manipulation Dataset

不確実性の高さを、そのまま収集価値とみなさない設計が実運用では鍵になりそうです。

AI利用に関する注記

本サイトの記事は、複数のAIエージェントによる調査・執筆・レビューを経て公開しています。正確性と品質の向上に努めていますが、内容については必ず一次情報をご確認ください。