TensorRT Plan
AI・機械学習PLANはTensorRTでシリアライズしたエンジンの保存に使われますが、別アプリが同じ拡張子を使う場合もあります。TensorRTのプランは編集用モデルや学習データではなく、対象環境向けに構築された推論成果物です。読み込み条件と元モデルを確認します。
- 主な用途
- TensorRTの推論プラン保存等
- 中身の種類
- 作成元により異なる
目次・よくある質問・根拠資料を見る
内容の最終確認: · 編集:Kai
開き方・操作手順
使っている環境や目的の項目を開いて、手順を確認してください。
操作名・対応状況はアプリ・OS・版によって異なります。変更する前に原本を残してください。
開けないとき:症状から確認
- 異なる版で失敗:バージョン互換を設定したプランか、対応ランタイムか確認します。
- プラグイン不足:作成元の必要な実装と正規の入手元を確認します。
- 普通のエディターで読めない:TensorRTのプランは一般の計画文書ではありません。
- planをonnxへ改名して拒否される:最適化成果物と元グラフは別です。元モデルを探します。
- 入力サイズで失敗:ビルド時の最小・最適・最大shapeと利用するprofileを確認します。
- プラグインが見つからない:ビルドと実行で同じ対応ライブラリが必要か照合します。
PLAN → 元モデルから目的の環境へ再構築
- 元モデル、入出力、互換モードとビルド手順を確保します。
- 対象GPUと対応ランタイム用に構築し、元の予測結果と照合します。
- 書き出し前後で同じ入力を使い、出力の形状・値・処理時間を比較します。モデル定義と変換条件も保存します。
プランだけから元の学習構造や重みを常に取り戻せるわけではありません。別拡張子への改名は環境移行ではありません。
planと再ビルド用データの違い
planは最適化した実行成果物で、元モデルの代わりに全環境で再編集できるとは限りません。ONNX等の元データとビルド設定を別に残します。
エンジンの復元は実行成果物の読み込みです。未知の配布物を情報確認のためだけにdeserializeしないようにします。
この手順の根拠:NVIDIA · Engine Compatibility / NVIDIA · Build your first engine / NVIDIA · TensorRT C++ API documentation
入力profileと精度を記録する
動的入力では最小・最適・最大shape等のprofileが実行条件になります。任意の大きさを渡せるとは限りません。
FP16やINT8等の設定変更後は同じテストデータで精度と性能を比較します。変更前のモデル、ビルドログ、参照出力を保管します。
この手順の根拠:NVIDIA · Engine Compatibility / NVIDIA · Build your first engine / NVIDIA · TensorRT C++ API documentation
関連形式との違い
| 形式 | 主な役割 | 確認する点 |
|---|---|---|
| ENGINE / PLAN | TensorRT実行成果物 | ビルド条件を照合 |
| ONNX | 推論グラフ交換 | 再ビルドの入力になる場合 |
| PT / KERAS | 元フレームワークの保存 | 元定義と前処理も必要 |
取り扱いと安全性
TensorRTエンジンには実行されるコードやプラグインへの依存が含まれ得ます。信頼できないエンジンはデシリアライズ・実行しません。未知のプランを動かすためにホストコード等の許可を有効にしないでください。
よくある質問
PLANは予定表?
TensorRTの推論プラン等もあるため作成元を確認します。
ENGINEに改名すれば互換性が直る?
内部の作成条件は変わりません。
版が近ければ必ず使える?
対応版と有効にした互換モードを確認します。
拡張子が違うENGINEとPLANは変換が必要?
TensorRTではシリアライズ成果物の名前として使われます。内容と作成工程を確認し、拡張子だけで別形式と決めません。
互換オプションがあれば全環境で使える?
対応範囲と条件があります。OS・版・GPU・プラグインを公式資料とビルド記録で確認します。
形式の基本情報:正式名称・MIME type・管理団体
- 名称
- TensorRTエンジンプラン(代表的な用途)
- 管理・仕様
- NVIDIA TensorRT / producer-specific uses
- MIME type
- 作成元・配信元の指定による。拡張子だけでMIME typeは確定できません。
公式・一次情報
- 公式資料Engine Compatibility
TensorRT版・GPUの互換条件と信頼できるエンジンの扱いです。
NVIDIA · リンク確認: - 公式資料Build your first engine
ONNXからエンジンを作成して実行確認する手順です。
NVIDIA · リンク確認: - 公式資料TensorRT C++ API documentation
信頼できるエンジンだけを復元する条件を説明しています。
NVIDIA · リンク確認: