Jetson上でVLMと物体検出を組み合わせる推論パイプライン設計

Mon, 05 Jan 2026 23:57:34 +0900

JetsonでVLMを使うとき、毎フレーム処理させるべきか、それとも役割を分けるべきかが設計上の分岐点になります。

先に結論

Jetsonでカメラ認識システムを構築するなら、物体検出モデルを高頻度で動かす一次視覚ループ、VLMを必要時だけ呼び出す二次推論ループとして分離するのが基本です。検出器は物体の位置、既知クラス、信頼度、追跡情報を継続的に供給し、VLMは未知物体の説明、属性や関係性の解釈、自然言語による確認を担当します。

VLMを毎フレーム実行すると計算量やメモリ使用量、レイテンシが増えやすくなります。一方、検出器だけでは説明や文脈理解が難しい場合があります。両者を同期処理で直列化するのではなく、検出器とトラッカーを継続させたままVLMを非同期実行することが、リアルタイム性と柔軟な認識を両立する判断になります。

なぜ分担が必要なのか

物体検出器は、既知クラスについて画像中の位置、クラス、信頼度を取得する処理に向きます。ロボットが周囲の物体を追跡し、制御系へ一定間隔で位置情報を渡す用途では、検出器を一次ループに置くのが自然です。

VLMは画像と言語を組み合わせ、画像の説明、質問応答、属性理解、物体間の関係性の解釈などを扱います。したがって、両者は完全な代替ではなく補完関係です。ただし、テキストでカテゴリを指定するオープンセット検出器もあるため、境界は固定的ではありません。必要な出力が「どこに何があるか」なのか、「どのような状態で、何と関係しているか」なのかを先に分けます。

基本用語と内部の仕組み

一次ループは、カメラ入力から前処理、物体検出、トラッキングまでを高頻度で処理する経路です。ここで座標、クラス、信頼度、追跡ID、時刻情報を更新します。二次ループは、一次ループが発生させたイベントを契機に、VLMへ画像と質問や指示文を渡す経路です。

呼び出し条件には、検出信頼度の低下、未知クラス候補、属性や関係性の確認要求、シーン変化、一定間隔の再評価を使えます。毎フレームではなく、不確実性や変化が生じたときに実行することで、VLMの処理量を抑えられます。

VLMへは毎回フルフレームを渡す必要はありません。検出器が得たROI、クラス候補、信頼度、追跡ID、時刻情報を優先し、周囲との位置関係など空間的文脈が必要な場合だけフルフレームを追加します。ROIは対象を絞れますが、周辺情報を失う可能性があるため、質問の内容に応じて切り替えます。

flowchart LR
  A["カメラ入力"] --> B["前処理"] --> C["物体検出"] --> D["トラッカー"]
  D --> E["検出メタデータ更新\n座標・クラス・信頼度・追跡ID・時刻"]
  E --> F["結果統合"]
  E --> G["イベント判定"]
  G --> G1["信頼度低下・未知物体候補\n属性や関係性の確認・シーン変化"]
  G1 --> H["非同期キュー"]
  E --> I["ROI・クラス候補・信頼度\n追跡ID・時刻情報"]
  A -. "空間的文脈が必要な場合" .-> J["フルフレーム"]
  I --> H
  J --> H
  H --> K["VLM推論\n画像またはROI＋質問・指示文"]
  K --> L["VLM結果をメタデータとして追加"]
  L --> F
  F --> M["安全監視"] --> N["制御系・状況理解・オペレーター向け情報"]
  D -. "VLM処理中も継続動作" .-> E

物体検出器とトラッカーを高頻度で継続動作させ、イベント発生時だけVLMを非同期実行する構成。VLMの出力は検出結果を置き換えず、メタデータとして統合します。

VLMの結果は検出結果を置き換えるのではなく、メタデータとして統合する設計が扱いやすいでしょう。VLM処理中も検出器とトラッカーを動かします。DeepStreamのようなGStreamerベースの基盤では、映像入力、前処理、推論、トラッキング、メタデータ処理を接続できます。キューで検出経路とVLM経路を分離すれば、VLMの遅延が検出器や制御系を停止させにくくなります。ただし、特定のVLMプラグインが標準提供されることや、VLMを毎フレーム処理できることを意味しません。

物体検出 on Physical AI Hub

Jetson上でVLMと物体検出を組み合わせる推論パイプライン設計

先に結論

なぜ分担が必要なのか

基本用語と内部の仕組み