再現性 on Physical AI Hub

Physical AIの再現可能な実験基盤：モデル・データ・機体・環境の来歴管理

Sun, 08 Nov 2026 14:48:33 +0900

Physical AIでは、同じモデルを使っても同じ結果にならないことがあります。差分を追える実験単位の設計が、再現性の前提になります。

結論

Physical AIの実験結果を再現可能にするには、モデルのバージョンだけを保存してはいけません。実験1回を単位とする Run Manifest を作り、モデル、データ、コード、機体構成、実行環境、実行時の動的状態、ログや評価結果を一つの来歴グラフとして結び付けます。各要素には不変IDまたは内容ハッシュを付け、どの入力が、どの活動によって、どの成果物を生成したかを追跡できるようにします。

この設計により、同じソフトウェア環境での再実行、同じ機体での物理的な再実験、異なる機体や環境での統計的再現を区別して検証できます。再現性を「同じモデルをもう一度動かせること」と狭く定義しないことが出発点です。

なぜモデルの版管理だけでは足りないのか

ロボットの挙動は、モデルの重みだけで決まりません。学習に使ったデータと前処理、制御コードや設定、センサー校正、ファームウェア、GPUドライバ、シミュレータのワールド、電源や温度といった状態も結果に影響し得ます。

機械学習システムの技術的負債に関する研究は、未宣言のデータ依存関係、設定の不整合、外部環境の変化、フィードバックループなどが、モデル単体からは見えない再現性・保守性のリスクになると指摘しています。Physical AIでは、これらに機体固有の差や時間変化が加わります。

したがって、保存すべき対象は「完成したモデル」ではなく、「そのモデルが、どの条件で、どの機体上で、どの結果を出したか」という実験全体です。

来歴管理の基本用語

来歴を表す汎用モデルとして、W3C PROV-DMがあります。PROV-DMは、次の三つを基本要素とし、生成、使用、派生、帰属などの関係で情報の流れを表現します。

Entity：データセット、モデル、ログ、動画、設定ファイルなどの成果物
Activity：学習、前処理、制御実行、評価、シミュレーションなどの活動
Agent：人、システム、サービス、実験担当組織などの主体

Datasheets for Datasetsは、データセットの動機、構成、収集方法、前処理、用途、配布、保守を記録する方式です。Model Cardsは、モデルの用途、評価条件、性能、制約、想定外利用などをモデル単位で報告します。これらは記録項目を整理するのに役立ちますが、実験全体の改変検知や自動的な関連付けまで保証するものではありません。

Run Manifestに何を記録するか

Run Manifestは、実験IDと実行時刻だけを持つ台帳ではありません。各要素のIDを参照し、入力から出力までを再構成できるマニフェストです。最低限、次の領域を分けて管理します。

領域	記録対象の例	役割
モデル	モデルID、チェックポイント、Model Card	使用した推論器を特定する
データ	rawデータ、派生データ、分割、前処理、Datasheet	学習・評価入力を再構成する
コードと設定	コミット、学習コード、制御パラメータ、設定ファイル	処理手順と条件を固定する
機体	機体識別子、部品構成、ファームウェア、センサー・アクチュエータ設定	どの機体で実行したかを示す
校正と保守	校正状態、校正値、保守履歴	機体の状態差を確認する
実行環境	OS、依存ライブラリ、コンテナ、GPU、ドライバ、ミドルウェア	ソフトウェア環境を再構成する
シミュレーション条件	シミュレータ、ワールド、マップ、乱数シード	仮想環境と試行条件を固定する
動的状態	電源、温度、負荷、時刻同期、実験時イベント	実行時の状態を記録する
成果物	ログ、軌跡、動画、メトリクス、評価レポート	結果と根拠を保存する

データはraw、派生データ、前処理済みデータを同じ名前で上書きせず、それぞれ独立したIDを付与します。学習済みチェックポイントや評価成果物も同様です。変更されるたびに新しいIDを作り、Run Manifestから参照します。

Physical AIの評価設計：タスク成功率だけでなく安全性と再現性を測る方法

Sat, 04 Jul 2026 01:25:33 +0900

成功率の高さだけで、ロボットAIの実用性を判断してよいのかという疑問から、評価軸を整理しました。

はじめに

Physical AI、特にロボットAIは、画像認識や単回のタスク成功率だけでは実運用への適性を判断できません。安全に動作したか、同じ条件で安定して再現できるか、環境やロボット個体が変わっても性能を保てるかを分けて測る必要があります。

先に結論

評価は「タスク有効性」「安全性」「再現性」の三軸で設計します。成功率は、事前に固定した主成功条件を満たした試行の割合として算出し、部分達成、所要時間、手動介入、リカバリ回数は別指標で報告します。

安全性は、接触、衝突、保護停止、非常停止、安全制約違反、人間の介入、ニアミスをイベントとして記録し、重大度と試行回数または稼働時間で正規化します。再現性は、同一条件での反復性と、乱数種、環境、操作者、ハードウェアなどを変えた再現性に分けます。総合スコアを使う場合も、重み、最低限の安全条件、失敗時の扱いと下位指標を公開します。

なぜ成功率だけでは足りないのか

RLBenchやLIBEROのようなベンチマークは、タスク集合やタスク変動を定義し、タスク成功を主要指標にしています。手法比較には有用ですが、成功条件、試行回数、タスクごとの重み、評価環境、介入の扱いが違えば、異なるベンチマークの数値は単純比較できません。

成功していても、毎回人間の介入が必要、所要時間が長い、危険な接触を伴う、といった問題は残ります。NIST AI RMF 1.0も、妥当性・信頼性、安全性、セキュリティ・レジリエンス、説明可能性・透明性などを区別しています。ロボット評価でも、異なる性質を一つの数値に押し込めない設計が適しています。

用語と成功条件を固定する

タスクごとに、開始状態、対象物、許容操作、主成功条件、失敗条件、最大実行時間を事前に定義します。例えば対象物を指定位置へ移動し、規定姿勢で停止することを主成功条件にするなら、途中まで移動できた試行は部分達成として別に扱います。

成功率 = 主成功条件を満たした試行数 ÷ 予定した全試行数

無効試行を分母から除く場合は、判定基準と理由を記録します。部分達成率、実行時間、介入回数、リカバリ回数、失敗分類も併記し、成功率へ混ぜないことが重要です。

三つの評価軸

タスク有効性

全体の成功率だけでなく、タスク別の成功率、部分達成、所要時間、介入回数、リカバリ回数を記録します。タスクごとの試行数や難易度が異なる場合、平均方法が結果を左右するため、タスク別内訳を公開します。

安全性

安全イベントは成功・失敗とは別のログにします。接触力を測れる構成では接触力も記録し、衝突、予期しない接触、保護停止、非常停止、安全制約違反、介入、ニアミスを分類します。イベントごとに重大度、発生試行、稼働時間、原因、復旧の有無を付与します。

ISO/TS 15066:2016は、協働ロボットシステムと協働運転の安全要求・指針を扱い、パワー・フォース・リミッティングも対象にしています。ただし、これだけで自律移動ロボット、屋外、家庭環境、タスク固有のリスクをすべて評価できるわけではありません。

反復性と再現性

同じモデル、ロボット、環境、手順で複数回試す評価は、同一条件での反復性を見ます。乱数種、学習チェックポイント、初期姿勢、物体配置、照明・背景、操作者、ロボット個体、ソフトウェアやモデルのバージョンを変える試験は、条件変更への再現性を見ます。

ISO 5725-1およびISO 5725-2は、同一条件での反復性と、操作者・装置・場所・時間などを変えた再現性を区別しています。一方、ISO 9283:1998は、産業用マニピュレータの位置姿勢や軌道の精度・反復性、安定時間、オーバーシュートなどを扱います。機構性能の反復性と、学習ポリシーの実験再現性は別の概念です。

flowchart LR
  A["評価対象とタスクを定義"] --> B["開始状態・主成功条件・失敗条件・最大実行時間を事前登録"]
  B --> C["固定条件で複数試行"]
  C --> D["主成功条件を満たしたか判定"]
  D -->|"達成"| E["成功として集計"]
  D -->|"一部達成"| F["部分達成として別集計"]
  D -->|"未達"| G["失敗分類と停止理由を記録"]
  C --> H["安全イベントを独立ログに記録"]
  H --> H1["接触・衝突・保護停止・非常停止・制約違反・介入・ニアミス"]
  H1 --> H2["重大度・発生試行・稼働時間・原因・復旧の有無を付与"]
  C --> I["所要時間・介入回数・リカバリ回数を記録"]
  E --> J["同一条件で反復性を評価"]
  F --> J
  G --> J
  J --> K["乱数種・初期姿勢・物体配置・照明・操作者・個体・バージョンを段階的に変更"]
  K --> L["条件変更後の再現性を評価"]
  J --> M["平均・ばらつきまたは信頼区間を報告"]
  L --> M
  H2 --> M
  I --> M
  M --> N["タスク有効性・安全性・再現性を独立指標として判断"]

タスクの結果、安全イベント、試験条件の変化を別々に記録し、タスク有効性・安全性・再現性の三軸で報告する評価フロー。

評価項目の比較

評価軸	主な指標	条件・ログ	注意点
タスク有効性	成功率、部分達成率、時間、介入、リカバリ	タスク定義、試行数、終了条件	成功率に別指標を混ぜない
安全性	接触・衝突、停止、制約違反、ニアミス	重大度、試行数、稼働時間、原因	成功率と独立集計する
反復性	同一条件での性能のばらつき	同一モデル、個体、環境、手順	機構とポリシーを区別する
再現性	条件変更後の性能維持	乱数種、環境、操作者、個体、版	変更条件を明示する
実機移行	シミュレーションとの差	接触、ノイズ、誤差、物体差	実機結果を別報告する

実機評価プロトコル

最初に、タスク、主成功条件、失敗分類、安全イベント、無効試行の条件を事前登録します。モデル、コード、センサ、ハードウェア、ロボット、環境のバージョンを記録し、同一条件で複数試行します。結果には試行数、成功率、タスク別内訳、所要時間、失敗分類、介入数、停止理由、平均・分散または信頼区間を含めます。