GGUF LLMモデル
AI・機械学習ggml系の実行エンジン向けにモデルのテンソルとメタデータを保存する形式です。画像ファイルではありません。モデルの構造・量子化方式・必要メモリを実行アプリが扱えるか確認します。
- 主な用途
- ローカルAI推論のモデル配布
- 中身の種類
- バイナリデータ
目次・よくある質問・根拠資料を見る
内容の最終確認： · 編集：Kai
GGUFで止まる場所から調べる
| 状況・目的 | 次にすること | 確認できる結果 |
|---|---|---|
| 一覧にファイルが出ない | 配布物が本体か分割巻か追加部品かを確認し、アプリの正規インポートを使います。 | 取り込み先と表示されたモデル名を確認します。 |
| ロード時にメモリー不足 | コンテキスト長とGPU配置を確認し、対応する小さいモデル・量子化を検討します。 | ファイル容量だけで必要RAM・VRAMを決めません。 |
| ロードできるが回答がおかしい | モデルが求めるチャットテンプレート、入力形式、必要な追加部品を確認します。 | 同じ短い入力と設定で再現するかを記録します。 |
この手順の根拠：LM Studio · lms import / LM Studio · lms load
開き方・操作手順
使っている環境や目的の項目を開いて、手順を確認してください。
操作名・対応状況はアプリ・OS・版によって異なります。変更する前に原本を残してください。
LM Studio CLI：原本を残して取り込む例
LM Studioとlmsコマンドを利用できる環境向けです。ファイル名を実際のGGUFに置き換え、ファイルがあるフォルダーで最初のコマンドを実行します。利用中の版でオプションを確認してください。
取り込み後はモデル一覧でキーを確認し、次のYOUR_MODEL_KEYを置き換えて見積もります。見積もりはロード成功の保証ではありません。
lms import "model.gguf" --copy
lms load --estimate-only YOUR_MODEL_KEY公式CLI資料に基づく例です。このサイト上でモデルを読み込む機能ではなく、LM Studioでの実モデルの動作試験は未実施です。
この手順の根拠：LM Studio · lms import / LM Studio · lms load
開けないとき：症状から確認
- unsupported architectureは実行エンジン未対応の可能性。モデルカードとアプリの対応表を照合し、対応版を確認します。
- ロード途中で失敗する場合、RAM/VRAM不足、分割モデルの欠け、取得不完全等を確認。拡張子がGGUFでも全部のモデルを扱えるわけではありません。
- 短い入力は動くが長文で停止：重み以外のKVキャッシュ等もメモリを使います。コンテキスト長を見直します。
- 画像だけ処理できない：そのモデルが画像対応か、対応するprojector等が必要か確認します。
- 出力が不自然：量子化だけでなくチャットテンプレート、モデルの用途、入力形式を確認します。
モデルをGGUFへ変換・量子化する前に
- 元モデル一式・設定・トークナイザー・利用条件を確認し、llama.cppの対象アーキテクチャ対応を調べます。
- 公式の変換手順で高精度GGUFを作り、その後必要なら量子化します。コマンドと依存関係は利用中の版の公式READMEで確認します。
- 書き出し前後で同じ入力を使い、出力の形状・値・処理時間を比較します。モデル定義と変換条件も保存します。
量子化は容量・速度・精度のトレードオフです。低精度モデルを高精度の名前へ変えても情報は戻りません。マルチモーダルでは別の部品が必要な場合があります。
容量・量子化・文脈長の選び方
容量を減らす量子化と、処理できる文脈の長さは別です。実行に余裕のある設定から始め、必要な長さまで段階的に増やします。
Q4やQ8という名前だけで同じ品質にはなりません。方式・元モデル・用途を揃えた入力で比較してから選びます。
この手順の根拠：ggml-org · GGUF specification / LM Studio · lms import / ggml-org · llama.cpp — quantize
別の端末へモデルを渡すとき
本体と分割・追加部品、実行アプリの版、設定を一覧にします。GPUへの配置条件は端末ごとに調整します。
一度量子化で失った情報は、名前を変えたり高精度へ保存し直したりしても戻りません。再調整用の元モデルを保管します。
この手順の根拠：ggml-org · GGUF specification / LM Studio · lms import / ggml-org · llama.cpp — quantize
関連形式との違い
| 形式 | 主な役割 | 確認する点 |
|---|---|---|
| GGUF | ローカル推論向け | 対応構造とメモリを確認 |
| SAFETENSORS | 重みの保存・配布 | 構造と設定が別途必要な場合 |
| ONNX | 推論グラフの交換 | 演算とランタイム対応を確認 |
取り扱いと安全性
モデル提供元・ライセンス・実行アプリを確認します。モデルに付属するPythonコード等の安全性はGGUF形式とは別に判断します。
よくある質問
GGUFは画像ファイル？
モデル保存形式です。画像入力を扱うモデルでも画像ファイルそのものではありません。
LM Studioで全部使える？
モデル構造・実行エンジン・版に依存します。GGUFという拡張子だけでは保証できません。
Q4・Q5・Q8は何？
量子化方式を示す名前の一部です。ビット数だけでなく方式やモデルによって容量と精度が変わります。
Safetensorsから名前変更できる？
内部構造が違います。元モデルと対応アーキテクチャを確認して公式変換を使います。
モデル容量と必要メモリは同じ？
実行時のキャッシュや作業領域も必要です。長い入力や設定によって増えるため実測します。
分割GGUFは連結してよい？
単純な結合は避け、利用中のエンジンが指定する分割読み込み・結合手順を使います。
形式の基本情報：正式名称・MIME type・管理団体
- 名称
- GGUF model container
- 管理・仕様
- ggml-org
- MIME type
- No broadly established dedicated MIME type; generic binary transfer
公式・一次情報
- プロジェクト公式GGUF specification
モデル・テンソル・メタデータ構造の根拠です。
ggml-org · リンク確認： - ソフトウェア公式lms import
GGUFの取り込みと--copyで元ファイルを保持する方法です。
LM Studio · リンク確認： - プロジェクト公式llama.cpp — quantize
変換・量子化の順序と精度・容量のトレードオフを確認しています。
ggml-org · リンク確認： - ソフトウェア公式lms import
ローカルモデルの取り込みと、原本を移動しない--copyの説明。
LM Studio · リンク確認： - ソフトウェア公式lms load
モデルのロードと、ロード前のメモリー見積もり。
LM Studio · リンク確認：