ドメインランダム化 on Physical AI Hub

ロボット学習の合成データ戦略：実機データとの境界をどう設計するか

Wed, 15 Apr 2026 00:45:58 +0900

合成データを増やせば実機データを減らせる、という単純な関係ではない点が気になるテーマです。

先に結論

ロボット操作向けの合成データは、実機データを一律に置き換えるものではない。視覚的なばらつきや、シミュレータで正確に生成できる状態・ラベルが成否を左右するなら、視覚認識の事前学習や一部の方策学習で実機データを代替できる。一方、摩擦、接触順序、柔軟性、センサー雑音、アクチュエータ遅延などが支配的な操作では、実機の成功・失敗例を基準データとして残し、合成データで拡張したうえで実機微調整と独立評価を行うべきだ。

したがって、設計の単位は「合成データ何％」ではなく、視覚・物理・センサー・ラベルという要因ごとの再現可能性である。タスクを分解し、実機で固定すべき分布と、シミュレーションで広げる分布を決めることが出発点になる。

なぜ代替条件の切り分けが必要か

合成データは、実機では収集しにくい大量の画像、状態、軌道を生成できる。しかし、生成量が増えても、シミュレータに含まれない失敗要因は学習できない。反対に、現実の一例へ過度に合わせたシミュレーションは、別の照明、背景、物体配置、物理条件で性能を落とす可能性がある。

また、先行研究の「合成データ」は同じものではない。画像のドメインランダム化、物理パラメータのランダム化、実機デモンストレーションから生成した合成軌道など、方式と目的が異なる。そのため、研究間の性能値を単純に並べて、普遍的な混合比率を導くことはできない。

前提となる用語

ドメインランダム化は、テクスチャ、照明、姿勢、背景、物体配置などをシミュレーション中に変化させ、実環境の見え方に対する頑健性を学習させる方法である。シミュレーション画像だけで学習した物体認識モデルを実環境へ移転した実証がある。

ダイナミクスランダム化は、質量、摩擦、遅延などの力学パラメータを変化させる方法である。単一の物理モデルへ過適合することを避け、複数の条件に対応する方策を学習する。研究対象となったロボット制御タスクでは、追加の実機学習なしで実機へ移転した例も報告されている。

実機アンカーとは、実際のカメラ、物体、治具、ロボットで取得した成功・失敗データを、学習や評価の基準として使う考え方である。シミュレーションの分布を広げる場合でも、現実にどのような見え方や接触が起きるかを判断する基準になる。

合成データが機能する仕組み

視覚認識では、実運用で起こり得る照明、背景、姿勢、物体配置を広くランダム化することで、特定の画像条件への依存を抑える。物体の位置や形状をシミュレータが管理していれば、認識対象のラベルも一貫して生成できる。この領域では、実機画像を使わずに学習したモデルの実環境移転が示されている。

制御では、質量や摩擦、遅延といったパラメータを一つに固定せず、分布として扱う。さらに、接触を伴う器用な手内操作についても、視覚と物理ダイナミクスをランダム化して学習した方策を実機で評価した事例がある。ただし、これらは特定のロボット、タスク、ランダム化設定での実証であり、別の構成にそのまま一般化できるとは限らない。

別の方法として、少数の実機による人間デモンストレーションを種データにし、シミュレーション内で物体配置や軌道を変換してデモンストレーションを増やす方式がある。これは実機データを排除するのではなく、現実の操作構造を保ったまま合成データで規模と多様性を補う設計である。

flowchart LR
  A["タスクを要因に分解"] --> B{"シミュレータで再現・ラベル生成しやすいか"}
  B -->|"比較的しやすい"| C["視覚認識・照明・背景・姿勢・状態ラベル"]
  C --> D["合成データ中心を検討"]
  B -->|"一部は再現可能"| E["質量・摩擦・遅延を含む制御"]
  E --> F["ダイナミクスランダム化と実機移転確認"]
  B -->|"再現しにくい要因が支配的"| G["接触順序・柔軟性・センサー雑音・固有差"]
  G --> H["実機アンカーと実機微調整を重視"]
  D --> I["独立した実機評価"]
  F --> I
  H --> I
  I --> J["失敗モードと未カバー領域を確認"]

合成データの比率ではなく、視覚・物理・センサー・接触など各要因の再現可能性でデータの役割を判断する。

要因別に見る選択基準

対象要因・タスク	合成データの役割	実機データの扱い	初期判断
視覚認識、照明・背景・姿勢のばらつき	ドメインランダム化で広く拡張	独立した実機評価に使用	合成中心を検討
物体配置や状態ラベル	状態とラベルを大量生成	実機分布との対応を確認	代替可能性が比較的高い
質量・摩擦・遅延を含む制御	ダイナミクスランダム化で条件を拡張	実機の移転性能と失敗を確認	タスク依存で併用
接触豊富な把持・手内操作	視覚・物理条件をランダム化	成功・失敗例をアンカーにする	混合を基本にする
柔軟物、摩擦、接触順序が支配的な操作	稀な条件や失敗条件を補う	実機データと実機微調整を重視	実機併用が必要
実機デモからの軌道生成	配置や軌道を変換して拡張	少数の種データを保持	ハイブリッドを検討

この表は固定的な処方箋ではない。特に、カメラの視野・ノイズ、アクチュエータの遅延、物体や治具の公差、柔軟性をシミュレータがどの程度表現できるかで判断は変わる。

Sim-to-Realの性能劣化を分解する：物理パラメータ・センサー・制御の補正手順

Sat, 14 Feb 2026 00:12:29 +0900

シミュレーション上の成功が実機で崩れるとき、物理モデルだけを疑う前に、ログと時間の整合性を確認したくなります。

先に結論

Sim-to-Realで性能が落ちたとき、いきなり摩擦や質量を調整するのは得策ではありません。まず単位、座標系、アクションスケール、時刻、制御周期などのインターフェースを確認し、次にセンサーと遅延、アクチュエータと低レベル制御、剛体・運動学、接触・環境の順で補正します。その後、残る不確実性に対してダイナミクスランダム化、実機データによる分布更新、オンライン適応、方策の再調整を検討します。

この順序は、すべてのロボットやタスクで保証された標準手順ではありません。各段階で学習に使っていない実機ログを検証し、残差のパターンが変わったかを確認することが前提です。

なぜ原因分解が必要か

実機で方策が失敗すると、物理モデルが間違っていると考えがちです。しかし性能差は、観測・レンダリング、時間同期と通信遅延、アクチュエータと低レベル制御、剛体・接触ダイナミクス、環境分布、方策の汎化誤差に分かれます。複数の要因が同じ軌道誤差を生むこともあるため、単一種類のログだけではパラメータを一意に決められない場合があります。

たとえば、定常的な位置や角度のずれはゼロ点や座標系、位相遅れはタイムスタンプ・通信・制御遅延、自由空間での振幅差はゲイン・摩擦・慣性を優先的に疑います。接触時の衝撃や滑りは摩擦、剛性、接触形状の不一致と結び付きやすく、視覚入力時だけ失敗するならカメラやレンダリング分布の差を調べます。

まず確認する用語

システム同定は、実機の入力と状態のログから、質量、摩擦、遅延などのモデルパラメータを推定する考え方です。ダイナミクスランダム化は、質量、摩擦、モーター出力などをエピソードごとに変化させ、単一モデルへの過適合を避ける方法です。視覚系ではテクスチャ、照明、カメラ姿勢、背景、オブジェクト配置などを変化させます。

オンライン適応は、実機の履歴から環境やダイナミクスの潜在状態を推定し、方策を適応させる方法です。固定パラメータの精密化だけでは扱いにくい、時間変化する差への選択肢になります。

実機データでの補正手順

1. ログとインターフェースを監査する

最初に、単位、座標系、アクションのスケール、飽和処理、ログ時刻、制御周期をそろえます。センサー、制御入力、状態推定、時刻情報は同一試験単位で保存し、後から再生できる形にします。ROS 2ではros2 bagに指定トピックを記録・再生できます。

ここが崩れていると、後段で物理パラメータを調整しても、入力と観測の対応がずれたままになります。まず再生ログとシミュレーションの入出力インターフェースが一致するかを確認します。

2. センサー、座標系、時間を合わせる

センサーのバイアス、ゼロ点、外部パラメータ、ノイズ、観測遅延を調べます。視覚入力を使う場合は、テクスチャ、照明、カメラ姿勢、背景、物体配置の差も対象です。実機画像に近い観測分布を作るだけでなく、視覚以外の状態推定値についても、シミュレーションと同じ前処理になっているか確認します。

3. アクチュエータと低レベル制御を合わせる

指令値が同じでも、モーターの応答、トルク制限、内部制御器、フィルタ、遅れによって実際の運動は変わります。脚ロボットなどでは、アクチュエータモデルをシミュレーションに含めることが、剛体パラメータを合わせることとは別の補正対象になります。

4. 剛体・運動学を調整する

質量、重心、慣性、関節減衰などを確認します。重力姿勢や自由空間の運動を使い、剛体モデルと運動学の誤差を切り分けます。MuJoCoのモデル定義では、ボディ、関節、アクチュエータ、センサー、接触・摩擦関連の要素を個別に設定でき、パラメータをカテゴリ別に管理する際の参照になります。

5. 接触と環境を調整する

接触時だけ残差が増える場合は、摩擦、接触剛性、反発、接触形状、床など環境側の条件を調べます。自由空間の運動が合っていても、接触ダイナミクスがずれていれば、滑りや衝撃を再現できません。

flowchart LR
  A["実機で性能劣化"] --> B["残差パターンを観測"]
  B --> C["定常的な位置・角度オフセット"]
  B --> D["位相遅れ"]
  B --> E["自由空間での振幅差"]
  B --> F["接触時の衝撃・滑り"]
  B --> G["視覚入力時だけの失敗"]
  B --> H["時間変化する差"]
  C --> C1["ゼロ点・座標系・初期姿勢"]
  D --> D1["時刻・通信・制御遅延"]
  E --> E1["ゲイン・摩擦・慣性・アクチュエータ"]
  F --> F1["摩擦・剛性・接触形状・環境"]
  G --> G1["カメラ・レンダリング分布・前処理"]
  H --> H1["オンライン適応・履歴からの状態推定"]

実機ログに現れる残差パターンを手掛かりに、優先して確認する原因カテゴリを切り分ける。

6. 不確実性と方策を扱う

点推定したモデルで実機を再現できない場合は、同定値の周囲に不確実性を持たせたダイナミクスランダム化を行います。実機ロールアウトとシミュレーション軌道の差を使い、ランダム化分布やシミュレーションパラメータを更新する方法もあります。それでも時間変化する差が残るなら、オンライン適応や残差方策を追加し、最後に方策自体を再調整します。