Physical AI 2026-10-01

学習ベースのロボット機能を説明可能にする安全ケースの作り方

投稿日: 2026年10月01日更新日: 2026年10月01日読了目安: 約2分

運用範囲、危険源、安全要求、検証証拠、監視、変更管理が接続された安全ケースを抽象的に表した図案

学習モデルの評価結果を、現場で成立する安全の説明へどう接続するかが気になるテーマです。

結論

学習ベースのロボット機能の安全ケースは、AIモデル単体の精度を証明する文書ではありません。最上位に「定義した運用範囲と制約の中で、対象機能が許容可能な安全性を満たす」という主張を置き、危険源、安全目標、安全要求、実装上の防護、検証結果、残留リスク、運用監視へ分解します。

各主張は、要求仕様、データセット、モデル、ソフトウェア構成、テスト条件、判定結果、運用記録へ追跡できるようにします。学習モデルを安全機能上の唯一の防護層とせず、異常時に停止、減速、退避などの安全側状態へ移行できる仕組みを含めることが基本です。

なぜモデル単体の評価では不十分か

ロボットの危険は、認識モデルの出力だけで決まりません。対象物、人との距離、作業空間、速度、力、照明、センサー、通信、ソフトウェア構成などが組み合わさって、実際のリスクになります。平均精度やテストデータ上の結果だけでは、どの環境で、どの失敗が起こり得て、失敗時に何が動作を制限するのかを説明できません。

ISO 12100:2010は、意図する使用と合理的に予見可能な誤使用を含む機械の限界を定め、危険源の同定、リスクの見積もり・評価、リスク低減を反復する一般原則を示しています。学習機能を含む場合も、まずこの分析を出発点にし、AI固有の不確実性、データやモデルの変更、導入後の監視をライフサイクルへ接続します。

安全ケースを構成する枠組み

安全ケースとは、安全性に関する主張と、それを支える論拠・証拠を構造化したものです。GSN（Goal Structuring Notation）では、ゴール、戦略、コンテキスト、前提、証拠などを用いて、主張がどの条件で成立するかを表します。ただし、GSN自体はモデル精度や残留リスクの合格値を定めません。

参照する枠組みの役割は分けて扱います。ISO 12100は機械の危険源分析とリスク低減、IEC 61508は安全関連の電気・電子・プログラマブル電子システムの安全ライフサイクルや検証、ISO 10218-1:2011は産業用ロボットの安全要求を扱います。NIST AI RMF 1.0はGovern、Map、Measure、Manageの4機能でAIリスク管理を整理し、ISO/IEC 23894:2023はAIのリスク特定、分析、評価、処置、監視のガイダンスを示します。

これらは同じ適用範囲の規格ではありません。AIリスク管理の文書は一律の合格閾値や認証を定めず、ISO 10218-1もサービスロボットや移動ロボット、特定の学習機能へそのまま適用できるとは限りません。対象機械、用途、法域、国内採用版との対応を確認する必要があります。

最上位主張から証拠まで分解する

実務では、次の順に整理するとレビューしやすくなります。

運用範囲と前提：許容される環境、対象物、人との距離、速度・力の上限、センサー状態、通信条件、モデルの適用範囲を定める。
危険源と安全目標：誤認識、制御の逸脱、センサー異常、通信断、適用範囲外の入力などを危険源として整理し、避けるべき危害や安全目標へ結び付ける。
安全要求：機能要求、性能要求、環境制約、フェイルセーフ要求、監視要求、変更管理要求を記述する。
実装上の防護：学習モデル、制限器、監視器、安全関連制御系、停止・減速・退避などが、どの要求に対応するかを明確にする。
検証と妥当性確認：要求ごとに方法、条件、合格基準、結果を記録する。解析、単体試験、シミュレーション、シナリオ試験、実機試験、故障注入などを要求の性質に応じて使い分ける。
残留リスクと運用監視：残った前提、監視指標、インシデント対応、再評価条件、変更時の停止条件を明示する。

これは各規格が定める一律の文書一覧ではなく、対象システムに合わせた実務上の構成方法です。

flowchart TD
  G["最上位主張：定義した運用範囲と制約の中で、機能が許容可能な安全性を満たす"]
  C["運用範囲・前提：環境、対象物、人との距離、速度・力、照明、センサー、通信、モデル適用範囲"]
  H["危険源と安全目標：誤認識、制御逸脱、センサー異常、通信断、適用範囲外入力"]
  R["安全要求：機能、性能、環境制約、フェイルセーフ、監視、変更管理"]
  P["実装上の防護：学習モデル、制限器、監視器、安全関連制御系、停止・減速・退避"]
  V["検証・妥当性確認：単体試験、シミュレーション、シナリオ試験、実機試験、故障注入、解析"]
  L["残留リスクと運用監視：前提、監視指標、インシデント対応、再評価条件、変更時の停止条件"]
  E["証拠：試験結果、解析記録、要求との対応、構成管理情報"]
  G --> C
  G --> H
  H --> R
  C --> R
  R --> P
  R --> V
  P --> V
  V --> E
  V --> L
  L --> E

安全ケースを、成立条件と防護、検証、残留リスク、証拠まで追跡可能な形に分解した構造です。GSN風の概念図であり、特定の合格基準を定めるものではありません。

トレーサビリティを証拠の中心に置く

検証結果を安全ケースの証拠として利用するには、その結果を生んだ構成を固定できなければなりません。要求仕様、データセット、ラベル、モデル、ソフトウェア、推論ハードウェア、テスト条件、判定結果をライフサイクル成果物として版管理し、相互に追跡可能にします。ISO/IEC 5338:2023は、AIシステムの概念化、開発、検証・妥当性確認、導入、運用、保守、廃止を含むライフサイクルプロセスを扱います。

証拠マトリクスには、次のような項目を持たせます。具体的な項目や合格基準が、参照した規格・ガイダンスによって一律に指定されているわけではありません。

項目	記録する内容
主張・前提	何を安全と主張し、どの条件を置くか
要求と根拠	危険源・安全目標から導いた要求
実装	モデル、ソフトウェア、制限器、監視器
検証証拠	方法、条件、合格基準、結果
構成情報	データセット版、モデル版、実装、環境
運用条件	速度、力、空間、センサー、対象物、適用範囲
残留リスク	未解消のリスク、前提、失効条件
変更管理	監視項目、再評価・再検証のトリガー

flowchart LR
  H["ハザードID"] --> SR["安全要求"]
  SR --> SW["ソフトウェア要求"]
  SW --> D["データセット版・ラベル"]
  D --> Mod["モデル版"]
  Mod --> C["実装コミット・推論環境"]
  C --> T["テストシナリオ・条件"]
  T --> R["検証結果・合格基準"]
  R --> Rel["リリース判定"]
  Rel --> O["運用監視指標"]
  O --> Ch{"変更・異常を検知したか"}
  Ch -- "はい" --> Re["影響評価・再検証"]
  Ch -- "いいえ" --> O
  Re --> Rel

安全ケースの主張を支える証拠について、要求、データ、モデル、実装、試験、運用結果を構成管理情報とともに追跡する流れを示しています。

防護層と運用時の安全側遷移

学習モデルが認識や判断を担う場合、モデル出力をそのまま危険な動作へ接続するのではなく、別の制限や監視を検討します。速度、力、位置、接近、信頼度、適用範囲外の入力、センサー状態、通信状態などが監視項目の候補です。採否は対象機能、用途、危険源、安全目標から導出します。

異常時に停止、減速、退避などへ移行する構成も、機能ごとに安全側状態を決める設計推奨です。IEC 61508やISO 10218-1が、学習モデルに対してこれらを一律に要求しているという意味ではありません。独立または十分に分離された安全機構が必要か、その分離方法は、危険源と安全上の役割、適用する安全要求から判断します。

flowchart LR
  S["センサー入力"] --> M["学習モデル"]
  M --> J["出力判断"]
  J --> Q{"監視条件を満たすか"}
  Q -- "はい" --> Lim["制限器・安全関連制御系"]
  Lim --> A["動作を許可または制限"]
  Q -- "いいえ" --> F["安全側への遷移"]
  F --> Stop["停止・減速・退避"]
  S --> Mon["センサー状態・通信状態の監視"]
  Mon --> Q
  M --> Conf["信頼度・適用範囲の監視"]
  Conf --> Q
  Bad["異常、信頼度不足、適用範囲外、センサー異常、通信断"] --> F

学習モデルの出力を唯一の防護層とせず、信頼度、適用範囲、センサー、通信などを監視して異常時に安全側へ遷移させる構成例です。

開発から運用まで更新する

安全ケースはリリース時に固定して終わる文書ではありません。リスク分析、要求定義、学習・実装、検証、妥当性確認、リリース、運用監視をつなぎ、インシデント、データ分布の変化、モデル変更、センサーやソフトウェア構成の変更があれば再評価します。変更の影響範囲を判断できない場合に、停止や再検証へ移る条件も記録します。

選択肢	主な役割	注意点
機械安全の危険源分析	意図する使用、誤使用、機械の限界、リスク低減を整理	AI固有のライフサイクル管理だけでは補いきれない
機能安全の安全ライフサイクル	安全関連制御系、故障、検証、独立性を整理	学習データや分布変化を十分に規定するものではない
AIリスク管理	AIの文脈、測定、対応、監視、再評価を整理	特定機能の一律の合格閾値や認証を定めない
GSN	主張、前提、戦略、証拠の関係を表現	技術的な合格基準そのものは定めない

flowchart LR
  RA["リスク分析"] --> RD["要求定義"]
  RD --> LI["学習・実装"]
  LI --> VV["検証・妥当性確認"]
  VV --> RL["リリース"]
  RL --> OM["運用監視"]
  OM --> D["インシデント、分布変化、モデル・センサー・ソフトウェア構成の変更"]
  D --> EA["影響評価・再評価"]
  EA --> RV["再検証または停止判断"]
  RV --> RD
  OM -->|"変化なし"| OM

安全ケースをリリース時点で固定せず、運用中の変化やインシデントを再評価と再検証へ接続する更新ループです。

採用すべき場面と判断基準

人との接触や共存があり、モデル出力が速度、力、位置、経路、把持などに影響するなら、危険源から運用監視までを一つの主張構造にまとめる価値が高くなります。対象機能の安全上の役割が明確でない段階では、用途、接触条件、危険源、許容リスク、安全目標を先に確定します。

産業用、協働型、サービス用、移動型のどれに該当するかで、参照規格の適用可能性は変わります。規格やガイダンスだけで、特定機能の法的適合性、認証取得、安全性を保証できるわけではありません。最新版、国内採用規格、法令、認証機関の解釈を別途確認してください。

まとめ

学習ベースのロボット機能を説明可能にするには、モデル単体の精度ではなく、運用範囲、危険源、安全要求、防護層、検証証拠、残留リスク、監視と変更管理を一続きの安全ケースにします。GSNは構造を表現する器であり、機械安全、機能安全、AIリスク管理は異なる役割を持つ根拠として接続します。

最終的な判断を支えるのは、要求からモデル・データ・実装・試験・運用結果までのトレーサビリティです。どの条件で主張が成立し、どの変化で証拠が失効するのかを明記できて初めて、安全審査で再現可能な説明になります。

参考情報

安全ケースは、性能を飾る文書ではなく、条件と限界を明示して判断を再現可能にする道具です。

AI利用に関する注記

本サイトの記事は、複数のAIエージェントによる調査・執筆・レビューを経て公開しています。正確性と品質の向上に努めていますが、内容については必ず一次情報をご確認ください。

参考にした一次情報

ISO 12100:2010 Safety of machinery — General principles for design — Risk assessment and risk reduction （official_documentation）公開: 2010-11-01
Artificial Intelligence Risk Management Framework (AI RMF 1.0) （official_documentation）公開: 2023-01-26
ISO/IEC 23894:2023 Information technology — Artificial intelligence — Guidance on risk management （official_documentation）公開: 2023-02-01
ISO/IEC 5338:2023 Information technology — Artificial intelligence — AI system life cycle processes （official_documentation）公開: 2023-11-01
Goal Structuring Notation Community Standard Version 2 （paper）公開: 2018-10-31
IEC 61508-1:2010 Functional safety of electrical/electronic/programmable electronic safety-related systems — Part 1: General requirements （official_documentation）公開: 2010-04-30

結論