成功率の高さだけで、ロボットAIの実用性を判断してよいのかという疑問から、評価軸を整理しました。
はじめに
Physical AI、特にロボットAIは、画像認識や単回のタスク成功率だけでは実運用への適性を判断できません。安全に動作したか、同じ条件で安定して再現できるか、環境やロボット個体が変わっても性能を保てるかを分けて測る必要があります。
先に結論
評価は「タスク有効性」「安全性」「再現性」の三軸で設計します。成功率は、事前に固定した主成功条件を満たした試行の割合として算出し、部分達成、所要時間、手動介入、リカバリ回数は別指標で報告します。
安全性は、接触、衝突、保護停止、非常停止、安全制約違反、人間の介入、ニアミスをイベントとして記録し、重大度と試行回数または稼働時間で正規化します。再現性は、同一条件での反復性と、乱数種、環境、操作者、ハードウェアなどを変えた再現性に分けます。総合スコアを使う場合も、重み、最低限の安全条件、失敗時の扱いと下位指標を公開します。
なぜ成功率だけでは足りないのか
RLBenchやLIBEROのようなベンチマークは、タスク集合やタスク変動を定義し、タスク成功を主要指標にしています。手法比較には有用ですが、成功条件、試行回数、タスクごとの重み、評価環境、介入の扱いが違えば、異なるベンチマークの数値は単純比較できません。
成功していても、毎回人間の介入が必要、所要時間が長い、危険な接触を伴う、といった問題は残ります。NIST AI RMF 1.0も、妥当性・信頼性、安全性、セキュリティ・レジリエンス、説明可能性・透明性などを区別しています。ロボット評価でも、異なる性質を一つの数値に押し込めない設計が適しています。
用語と成功条件を固定する
タスクごとに、開始状態、対象物、許容操作、主成功条件、失敗条件、最大実行時間を事前に定義します。例えば対象物を指定位置へ移動し、規定姿勢で停止することを主成功条件にするなら、途中まで移動できた試行は部分達成として別に扱います。
成功率 = 主成功条件を満たした試行数 ÷ 予定した全試行数
無効試行を分母から除く場合は、判定基準と理由を記録します。部分達成率、実行時間、介入回数、リカバリ回数、失敗分類も併記し、成功率へ混ぜないことが重要です。
三つの評価軸
タスク有効性
全体の成功率だけでなく、タスク別の成功率、部分達成、所要時間、介入回数、リカバリ回数を記録します。タスクごとの試行数や難易度が異なる場合、平均方法が結果を左右するため、タスク別内訳を公開します。
安全性
安全イベントは成功・失敗とは別のログにします。接触力を測れる構成では接触力も記録し、衝突、予期しない接触、保護停止、非常停止、安全制約違反、介入、ニアミスを分類します。イベントごとに重大度、発生試行、稼働時間、原因、復旧の有無を付与します。
ISO/TS 15066:2016は、協働ロボットシステムと協働運転の安全要求・指針を扱い、パワー・フォース・リミッティングも対象にしています。ただし、これだけで自律移動ロボット、屋外、家庭環境、タスク固有のリスクをすべて評価できるわけではありません。
反復性と再現性
同じモデル、ロボット、環境、手順で複数回試す評価は、同一条件での反復性を見ます。乱数種、学習チェックポイント、初期姿勢、物体配置、照明・背景、操作者、ロボット個体、ソフトウェアやモデルのバージョンを変える試験は、条件変更への再現性を見ます。
ISO 5725-1およびISO 5725-2は、同一条件での反復性と、操作者・装置・場所・時間などを変えた再現性を区別しています。一方、ISO 9283:1998は、産業用マニピュレータの位置姿勢や軌道の精度・反復性、安定時間、オーバーシュートなどを扱います。機構性能の反復性と、学習ポリシーの実験再現性は別の概念です。
flowchart LR A["評価対象とタスクを定義"] --> B["開始状態・主成功条件・失敗条件・最大実行時間を事前登録"] B --> C["固定条件で複数試行"] C --> D["主成功条件を満たしたか判定"] D -->|"達成"| E["成功として集計"] D -->|"一部達成"| F["部分達成として別集計"] D -->|"未達"| G["失敗分類と停止理由を記録"] C --> H["安全イベントを独立ログに記録"] H --> H1["接触・衝突・保護停止・非常停止・制約違反・介入・ニアミス"] H1 --> H2["重大度・発生試行・稼働時間・原因・復旧の有無を付与"] C --> I["所要時間・介入回数・リカバリ回数を記録"] E --> J["同一条件で反復性を評価"] F --> J G --> J J --> K["乱数種・初期姿勢・物体配置・照明・操作者・個体・バージョンを段階的に変更"] K --> L["条件変更後の再現性を評価"] J --> M["平均・ばらつきまたは信頼区間を報告"] L --> M H2 --> M I --> M M --> N["タスク有効性・安全性・再現性を独立指標として判断"]
評価項目の比較
| 評価軸 | 主な指標 | 条件・ログ | 注意点 |
|---|---|---|---|
| タスク有効性 | 成功率、部分達成率、時間、介入、リカバリ | タスク定義、試行数、終了条件 | 成功率に別指標を混ぜない |
| 安全性 | 接触・衝突、停止、制約違反、ニアミス | 重大度、試行数、稼働時間、原因 | 成功率と独立集計する |
| 反復性 | 同一条件での性能のばらつき | 同一モデル、個体、環境、手順 | 機構とポリシーを区別する |
| 再現性 | 条件変更後の性能維持 | 乱数種、環境、操作者、個体、版 | 変更条件を明示する |
| 実機移行 | シミュレーションとの差 | 接触、ノイズ、誤差、物体差 | 実機結果を別報告する |
実機評価プロトコル
最初に、タスク、主成功条件、失敗分類、安全イベント、無効試行の条件を事前登録します。モデル、コード、センサ、ハードウェア、ロボット、環境のバージョンを記録し、同一条件で複数試行します。結果には試行数、成功率、タスク別内訳、所要時間、失敗分類、介入数、停止理由、平均・分散または信頼区間を含めます。
次に、乱数種、初期姿勢、物体配置、照明、背景、操作者、ロボット個体、ソフトウェア・モデルのバージョンを段階的に変えます。強化学習では乱数種、実装、ハイパーパラメータ、評価手順によって結果や手法間の順位が変わり得るため、単一条件だけで判断しません。
シミュレーションと実機は分離して報告します。実機では接触、センサノイズ、キャリブレーション誤差、物体・環境差が加わるため、両者の成功率と失敗分布を比較します。実機性能への普遍的な換算式は確認されていません。
ベンチマークの選び方と制約
学習手法の比較では、RLBenchやLIBEROのようにタスク構成と成功指標が明示されたベンチマークが候補です。複数のロボット実体やデータ分布を意識する研究では、Open X-Embodimentのような横断的研究も参照できます。
ただし、ベンチマークの成功率は実機の安全性や介入コストを直接表しません。研究比較では標準ベンチマークを使い、PoCや製品化では実際のロボット、環境、対象物、リスクを含む実機試験を追加します。安全イベントの重大度分類、適切な試行数、総合スコアの統合方法に、すべての用途へ共通する単一基準はありません。
採用判断
まず安全上の最低条件を満たすかを確認し、その後に成功率、所要時間、介入回数、再現性を比較します。安全条件を満たさないシステムを、成功率だけで採用候補にしてはいけません。用途によっては平均成功率より、最悪条件での失敗重大度や人間介入の少なさを優先します。
まとめ
Physical AIでは、成功率を中心指標にしつつ、性能の代表値とはみなしません。事前定義した終了条件でタスク有効性を測り、安全イベントを重大度と曝露量付きで別集計し、同一条件の反復性と条件変更後の再現性を分けて記録します。実機とシミュレーション、ロボット機構と学習ポリシーも分離して報告することが、追試と運用判断につながります。
参考情報
- NIST AI Risk Management Framework 1.0
- ISO 9283:1998 / ISO/TS 15066:2016
- ISO 5725-1:1994 / ISO 5725-2:2019
- Deep Reinforcement Learning that Matters
- RLBench / LIBERO / Open X-Embodiment
評価値を一つにまとめる前に、何を成功とし、どの失敗を許容しないかを明確にすることが出発点になります。
AI利用に関する注記
本サイトの記事は、複数のAIエージェントによる調査・執筆・レビューを経て公開しています。正確性と品質の向上に努めていますが、内容については必ず一次情報をご確認ください。
