ロボット視覚の語彙設計：オープンボキャブラリー認識とタスク限定認識の使い分け

Thu, 05 Nov 2026 15:22:58 +0900

語彙を広げるほどロボットが賢くなるのか、それとも判断を狭く保つことが安全につながるのかが、このテーマの出発点です。

結論

認識対象が頻繁に変わり、未知物体の発見や自然言語による対象指定が必要なら、オープンボキャブラリー認識を第一候補にする。一方、棚卸しSKUやピッキング対象が固定され、誤検出のコストと再現性が重い場合は、タスク限定認識を基本にするのが妥当だ。

安全性が必要なロボットでは、どちらか一方に任せるより、オープンボキャブラリー方式で候補を発見し、後段のタスク限定モデル、未知拒否、行動ゲートで検証する構成が現実的である。

なぜ語彙設計が重要か

ロボットの視覚認識では、画像中の物体を見つけるだけでは動作を決められない。検出結果が示すのは、主に対象の位置と、指定された語彙との一致である。把持可能性、向き、材質、危険性、作業手順への適合性まで自動的に確定するわけではない。

そのため、認識器の選択は既知クラスの精度だけで決められない。未知物体を誤って受け入れる割合、低信頼度入力を拒否したときのカバレッジ、信頼度の校正、推論遅延、メモリ使用量、カテゴリ追加コスト、最終的な行動成功率を分けて考える必要がある。

用語と仕組み

オープンボキャブラリー認識は、学習時に固定したクラスIDだけでなく、推論時にテキストクエリなどで指定した語彙の対象を認識・検出する方式である。画像と自然言語の対応を学習したモデルでは、テキストラベルを指定したゼロショット分類が可能になる。OWL-ViT、Grounding DINO、ViLDは、この考え方を物体検出へ適用する代表例である。

一方、タスク限定認識は、業務で扱う対象とラベル定義をあらかじめ限定し、その範囲で分類・検出する構成を指す。対象が固定されているなら、必要なクラス、属性、拒否条件を明確に設計しやすい。反復的なピッキングや固定SKUの棚卸しでは、語彙を広げることよりも、定義した対象を安定して扱うことが優先される。

なお、オープンボキャブラリー認識とオープンセット認識は同義ではない。前者は推論時に語彙を拡張・指定する能力であり、後者は既知クラス以外の未知入力を検出し、拒否または未知として扱う能力である。テキストで対象を指定できても、未知物体を必ず安全に拒否できるとは限らない。

オープンボキャブラリー方式の価値と限界

カテゴリ追加のたびに完全な教師データを用意しなくても、長い尾のカテゴリや自然言語で指定した対象を候補化できることが大きな利点である。事前に全カテゴリを列挙しにくい環境理解や、探索段階の棚卸しでは、対象語彙を後から変更できる柔軟性が役立つ。

ただし、ゼロショット性能は、プロンプトの表現、画像ドメイン、照明、視点、遮蔽、対象カテゴリの粒度に左右される。研究論文で示されたベンチマーク結果から、特定の現場でタスク限定モデルを上回ることや、未知物体を適切に拒否することを保証することはできない。同義語、階層カテゴリ、ブランド名、属性語の影響もモデルとデータセットに依存する。

タスク限定方式の価値と限界

対象の種類とラベル定義が安定し、同じ対象を反復して扱うなら、タスク限定認識は評価範囲を明確にしやすい。誤検出が停止、衝突、誤ピッキングにつながる場合には、対象外を受け入れない条件やクラス別しきい値を設けやすい点も有利である。

ただし、限定したモデルでも信頼度をそのまま成功確率として扱ってはいけない。ニューラルネットワークの予測信頼度は、実際の正解率と一致しないことがある。温度スケーリングなどの校正、クラス別しきい値、拒否領域の検証が必要になる。限定方式だから必ず高精度、とは言えない。

flowchart LR
  A["画像入力"] --> B["オープンボキャブラリー候補生成\nテキストクエリで対象を指定"]
  B --> C{"候補の信頼度と対象条件を確認"}
  C -->|"未知・低信頼度、または条件不一致"| D["拒否・再観測・人手確認"]
  C -->|"検証対象として受理"| E["タスク限定分類"]
  E --> F["属性・姿勢・把持可能性を検証"]
  F --> G{"信頼度と安全規則を確認"}
  G -->|"条件を満たす"| H["ロボット動作"]
  G -->|"条件を満たさない"| D

オープンボキャブラリー認識を候補発見に使い、タスク限定の検証と信頼度・安全規則による行動ゲートを後段に置く構成。

選択肢の比較

観点	オープンボキャブラリー認識	タスク限定認識	ハイブリッド構成
語彙	推論時にテキストなどで変更・追加	事前に対象を定義	発見は広く、検証は限定
向く場面	未知物体の探索、環境理解、変動するカテゴリ	固定SKU、反復ピッキング、固定部品	安全性と柔軟性を両立したい場面
未知物体	候補化できるが、未知拒否は別機能	対象外として定義しやすいが、未知発見は弱い	候補生成後に拒否・検証できる
データ追加	カテゴリ追加時の教師データ負担を抑えやすい	アノテーションや再学習が必要になりやすい	追加対象だけを段階的に検証できる
主な注意点	プロンプト、視点、照明、遮蔽への依存	校正不良、対象外の誤受理、語彙外への対応	段数増加による遅延と設計複雑化
評価	未知誤受理率、候補再現、拒否性能	既知精度、校正、拒否性能	最終行動成功率と各段の失敗率

実装での使い分け

探索フェーズでは、画像入力に対してテキストクエリを変えながら候補を生成し、未知または低信頼度の候補をそのまま行動へ渡さない構成が考えられる。運用フェーズでは、候補に対してタスク限定の分類、属性確認、姿勢推定、把持可能性判定を行い、最後に信頼度と安全規則による行動ゲートを置く。

オープンボキャブラリー on Physical AI Hub