Local LLM Inference / Hardware Structural Analysis

DGX Spark と一般PC構成の比較
— 容量と帯域のトレードオフでローカルLLM推論を読み解く

NVIDIA DGX Spark(GB10 Grace Blackwell)と、CPU+システムメモリ+ディスクリートGPUで構成する一般PCを、ローカルLLM推論の観点で比較する。両者の差は最終的に「容量と帯域のトレードオフ空間における立ち位置」に還元され、どちらが優位かはAIモデルのタイプによって反転する。本レポートは構成の違い・強み・弱み・モデルタイプ別の挙動の四軸で整理する。

2026年7月 / 記述は確認可能な事実と分析上の推論を区別して提示する
射程:DGX Spark(Founders Edition/GB10)に限定。RTX Spark は詳細未公開のため対象外。価格・入手性は2026年のメモリ逼迫環境を反映する。

00要旨

構成の違いは、突き詰めると「どちらのメモリ資源を優先したか」に帰着する。

DGX Spark は、多チャネルのLPDDR5Xを統合することで、128GBという大容量メモリを273GB/sで供給する。これはディスクリートGPU(VRAMは最大でも96GB級)にも、一般的なPC(システムRAMはGPUコヒーレントでも高速でもない)にも作れない構成である。すなわち容量を帯域に優先した設計といえる。対して一般PCのディスクリートGPUは、小容量のVRAMを高帯域(例:RTX 5090で1,792GB/s)で供給する、帯域を容量に優先した設計である。

両者の優劣を決めるのは、デコード(トークン生成)が帯域律速だという一点である。生成速度はおおむね「帯域 ÷ 1トークンあたり読み出すバイト数」で決まり、この分母がモデルのタイプ(デンス/MoE、規模、量子化精度)で大きく変わるため、どちらの構成が優位かはモデルタイプによって反転する。

結論を先取りすれば、DGX Spark は速度で選ぶ製品でも価格で選ぶ製品でもなく、一般PCのGPUには載らない中〜大規模モデル(とりわけMoE)を、低電力・小型・データセンタ互換のソフトウェアスタックのまま載せられる統合システムである。その価値提案はサービング(推論本番)ではなく、開発・プロトタイピングにある。

01三つの構成とメモリ階層

比較の土台は、各構成が「推論器に対してどんなメモリ階層を差し出すか」である。

ローカルLLM推論において決定的なのは演算能力よりもメモリである。モデルの重みをどこに、どれだけ、どの速度で置けるか。この観点で三つの構成を並べると、それぞれが露出するメモリ階層の形が根本的に異なる。

表1 ── 三構成のメモリ階層(代表値)
構成主メモリと容量帯域性格
DGX Spark(GB10)統合LPDDR5X 128GB(GPUコヒーレント)273 GB/s大容量・中庸帯域・分断なし
一般PC + dGPUVRAM 24〜32GB(+システムRAM 数十〜128GB)~1,792 GB/s
VRAM。RAMは~50–100
小容量・高帯域+大容量・低帯域の二層(PCIeで分断)
一般PC(GPUなし)システムRAM 数十〜数百GB~50–100 GB/s大容量だが低帯域・演算も弱い

一般PCにディスクリートGPUを積んだ構成は、実は二つのメモリ階層の合成である。高速だが小さいVRAMと、大きいが遅いシステムRAM。この二層はPCIe(実効数十GB/s+転送オーバーヘッド)で隔てられており、モデルがVRAMに収まる限りは極めて速いが、収まらなくなった瞬間に性質が一変する。DGX Spark の統合メモリは、この二層を単一の128GBプールに畳んだものと理解すると位置づけが明快になる。

02アーキテクチャの違い

なぜ DGX Spark は「比較的高速な大容量」を成立させられるのか。

オフロードの崖

一般PC+dGPU構成の本質的な弱点は、VRAM容量の壁である。モデルの重みがVRAMに収まれば、VRAM帯域(1,000〜1,792GB/s級)で高速に走る。しかし収まらなければ、超過分をシステムRAMへ退避(オフロード)せざるを得ず、その部分はPCIe経由の低帯域で読み出されるため、実効速度が崖のように崩落する。24〜32GBのVRAMでは、4bit量子化しても13〜30B級が実用上限となる。

統合メモリによる崖の回避

DGX Spark は、CPUとGPUが単一の128GBプールをコヒーレントに共有する。VRAMとシステムRAMの区別がなく、したがってオフロードの崖が存在しない。273GB/sという帯域は、システムRAMへのオフロード(実効数十GB/s)より速く、GPUのVRAM(1,792GB/s)より遅い、その中間に位置する。要旨で「比較的高速な大容量」と述べたのは、この参照点──オフロードとの比較──においてであり、GPUのVRAMと比べれば約6.5倍遅い点は明記しておく。すなわち本質は「高速な大容量」ではなく、容量を帯域より優先した大容量+中庸な帯域である。

なぜLPDDRなのか

128GBという容量を、机上に置ける筐体・壁コンセントの電力で成立させる memory 技術は、実質LPDDRしかない。HBMはインターポーザ実装を要し希少・高価でデータセンタアクセラレータ専用、コンシューマ機に載せるのは商業的に非現実的である。GDDRは帯域には優れるが容量あたりの電力・基板面積が大きく、128GBを小型・低電力で実装できない。多チャネルLPDDRは、この二者の間隙で「大容量・低電力・小型」を成立させる唯一の解であり、DGX Spark の設計上の核心である。

03デコードの物理 — 一本の式

生成速度を支配するのは、演算ピークではなく帯域である。

LLM推論には性格の異なる二つのフェーズがある。プロンプトを一括処理するプレフィル(演算律速)と、トークンを一つずつ生成するデコード(帯域律速)である。ユーザーが体感する「生成の速さ」はデコードで決まり、これは次の近似式に従う。

デコード速度(tok/s) ≈ メモリ帯域 ÷ 1トークンあたり読み出すバイト数

バッチ1のデコードでは、1トークンを生成するたびに必要な重みをメモリから読み出す。ゆえに、いくらテンソルコアが高速(DGX Spark は理論FP4で1 PFLOP)でも、帯域が細ければ演算器は待たされ、その帯域が上限を規定する。DGX Spark が宣伝する1 PFLOPのFP4性能は、このデコード局面ではほとんど律速要因にならない。一方プレフィルは演算律速であり、ここでは DGX Spark のFP4テンソルコアが活き、後述するように強みとなる。

図1 ── メモリ帯域の比較(デコードの天井)
単位:GB/s。デコード速度はこの帯域を「1トークンあたり読むバイト数」で割った値が上限となる。DGX Spark の273GB/sは、システムRAMオフロードよりは速いが、ディスクリートGPUのVRAM帯域には遠く及ばない。

04モデルタイプ別の挙動

同じ式が、モデルのタイプによって正反対の結論を導く。

デンスとMoEの違い

まず用語を定義する。デンス(dense)モデルは、1トークン生成するのに全パラメータを毎回読み出す。MoE(Mixture of Experts)モデルは、多数のエキスパートのうち一部だけをトークンごとに選んで使い、残りは読まない。例えばGPT-OSS 120Bは総パラメータ約117Bだが、1トークンで活性化するのは約5.1Bにとどまる。式の分母(1トークンあたり読むバイト数)が、デンスでは総パラメータに、MoEでは活性パラメータに比例する──この差が帯域律速のDGX Spark上で決定的に効く。

規模と量子化による分岐

これを踏まえると、DGX Spark 上の挙動はモデルタイプで以下のように分岐する。

表2 ── DGX Spark 上のモデルタイプ別挙動
モデル型1トークンで読む量実測デコード評価
デンス小〜中(〜13B)小高速快適 容量に余裕、FP8/BF16可
デンス中(31B, BF16 約58GB)全58GB~3.7 tok/s悲惨 載るが帯域律速
デンス大(70B, FP8 約70GB)全70GB~2.7 tok/s悲惨 FP4/FP8でのみ載る
MoE 120B(Nemotron, 活性12B)活性分のみ~23 tok/s実用
MoE 120B(GPT-OSS, 活性5.1B)活性分のみ~38–55 tok/s良好 本領
GPT-OSS 20B小~50 tok/s良好
図2 ── DGX Spark のデコード速度はモデル型で二極化する
単位:tok/s(単ストリーム、実測の代表値)。参考:人間の読速はおおむね5〜13 tok/s、クラウドAPIの体感は30〜60 tok/s。悲惨に見えるのは「大規模デンスを単ストリームで回す」というこの構成の反パターンに限られ、MoEや小規模では実用域に入る。

量子化(FP4)の役割 — 誤解の訂正

「大容量があればFP4のような精度劣化を伴う量子化を避けられる」という理解は、規模によって成否が分かれる。中規模(〜30B級)では容量に余裕があり、FP8/BF16で回してFP4を避けられる──これは正しい。ただし帯域律速ゆえに、精度を上げる(=読むバイトを増やす)ほど遅くなるため、実用速度のためにはむしろFP4を使いたくなる。

大規模(70B以上)では逆転する。70B BF16(140GB)はそもそも128GBに載らず、FP4/FP8でのみ載る。120B級MoEはFP4/MXFP4でしか成立しない。つまり大規模では、容量はFP4を「避ける」ためではなく、FP4を「成立させる」ために効いている。FP4は回避対象ではなく、大モデルを載せるイネーブラである。

さらに、Blackwellの第5世代テンソルコアはFP4をネイティブ加速するため、FP4のGEMMはBF16より速い。FP4は「精度を犠牲に演算を足す純コスト」ではなく、「精度↔(メモリ+速度)」の交換である。DGX Spark は演算過多・帯域過少の構成ゆえ、FP4は余った演算を使って足りない帯域を買う交換になり、多くの場合純益となる。

構造的な反相関 FP4精度が最も心配な中規模モデルは、ちょうど容量に余裕がありFP8で回せる帯にある。FP4を強いられる大規模モデルは、ちょうどFP4精度が最も保たれる帯(大モデルほど4bit耐性が高い)にある。ゆえにFP4の精度リスクとFP4の必要性は DGX Spark 上で反相関し、系として自己整合している。

05強み

一般PC+dGPU構成に対して、DGX Spark が明確に上回る点。

容量 — 載せられること

最大の強みは、GPUには載らない中〜大規模モデルを載せられる128GBの統合メモリである。単一ディスクリートGPU(最大96GB級、コンシューマは24〜32GB)では物理的に載らない120B級MoEが、机上で動く。オフロードの崖もない。

電力・サイズ

実測ピーク約150W、書籍サイズ(150×150×50mm)、無音。プレフィル性能は約150Wで3×RTX 3090(合計約1,000W級)に匹敵し、電力あたり・サイズあたりの演算効率は隔絶している。

ソフトウェア互換

データセンタのBlackwellと同一のCUDA/TensorRT-LLM/NVFP4スタックが動く。開発機で作ったものをそのままデータセンタ/クラウドへ移植できる。これがApple Silicon(MLX、CUDA非対応)やAMD系(ROCm)に対する実質的な優位性であり、DGX Spark の中核的な存在理由である。

MoEとの適合と、緩和策の効き

総パラメータ大・活性小のMoEは、容量(128GBに全体を載せる)と帯域(活性分だけ読む)の両制約に同時に噛み合う。加えて、演算過多・帯域過少という構成は投機デコード(Eagle3等)やFP4量子化と相性が良い──いずれも演算を消費して帯域を節約する交換であり、演算に余剰がある DGX Spark は帯域リッチな機器より緩和策から多くを引き出せる。

06弱み

その裏面。速度で競うための製品ではない。

帯域律速のデコード

273GB/sはディスクリートGPUのVRAM帯域の約1/6.5であり、デンスモデルのデコードは遅い。GPT-OSS 20Bで比較すると、RTX 5090の約205 tok/sに対し DGX Spark は約50 tok/s(約4倍差)。大規模デンス(31B/70B)は単ストリームで数tok/sと実用に届かない。

コストパフォーマンス

RTX PRO 6000は約2倍の価格で6〜7倍速いトークン生成を実現し、償却後の推論あたりコストで約2.8倍安いという試算がある。単純な$/スループットでは劣る。

メモリ逼迫下の価格 — 唯一の強みへの課税

2026年のメモリ逼迫は、DGX Spark の唯一の取り柄である「大容量」を直撃した。Founders Editionは2026年2月に仕様を変えず$3,999→$4,699(+18%)へ値上げされ、NVIDIAはこれを明示的にメモリ供給制約に帰した。日本+正規+円安では約90万〜100万円に達し、実効の上げ幅は米ヘッドライン(+$700)より大きい。価格が読者を選別し、パワーユーザーの閾値をも越えつつある。

拡張性・修理性

LPDDRは半田付けで、メモリの増設・交換はできない。統合設計と引き換えに、可修理性・アップグレード性は最低水準である。

07意思決定マトリクス

どの構成がどのワークロードに合うか。

表3 ── ワークロード別の推奨構成
やりたいこと推奨理由
小〜中規模を高速に(対話・コーディング)一般PC+dGPUVRAMに載る範囲では圧倒的に速く、安い
大規模MoEをローカルで回すDGX Spark総量が単一GPUに載らず、統合128GB+活性小が噛み合う
大規模デンスを高速にマルチGPU or クラウド帯域が要る。DGX Spark は載るが遅い
dev→prod移植・DC互換が要るDGX Spark同一CUDA/NVFP4スタック。Mac・AMDにない利点
複数エージェントのバッチ運用DGX SparkMoEは並列時に帯域予算を共有しアグリゲートが跳ねる
最も安い128GB搭載機が欲しいStrix Halo系(Framework等)同容量・同帯域でより安く、Windows可
純粋なコストパフォーマンス一般PC+dGPU載る範囲での$/スループットが最良

08結論

DGX Spark と一般PC+dGPU構成の違いは、メモリ資源の優先順位に集約される。DGX Spark は多チャネルLPDDRで容量を帯域に優先し、一般PCのGPUは帯域を容量に優先する。ゆえに両者は競合するというより、異なるワークロードを担う。

DGX Spark の正体は速度で選ぶ製品でも価格で選ぶ製品でもなく、一般PCのGPUには載らない中〜大規模モデル(とりわけMoE)を、低電力・小型・データセンタ互換のまま載せられる統合システムである。その価値はサービングではなく開発・プロトタイピングにある。帯域律速ゆえ、正しいモデル型(MoE×FP4)を選べば実用速度に達し、誤れば(大規模デンス単ストリーム)悲惨になる──tok/sは一様ではなく二極化する。

最大の売りを一行に畳めば、一台で、大規模モデルまで含めて「詰まない」ことである。速度でも価格でも勝たないが、どのモデル型でも止まらない。GPUはVRAMを超えた瞬間に崖で詰み、CPUオンリーは演算で詰む。DGX Spark は128GB統合で「載る」を、FP4テンソルで「演算でも詰まない」を保証し、全域に「実行可能」という床を一枚通す。最適点はどこにもないが、この汎用的な可用性そのものが売りである。

その代償として、コストパフォーマンスでは常に他に負ける──しかも負ける相手は規模帯で入れ替わる。小規模ではディスクリートGPUに安さでも速さでも劣り、大規模MoEでは同容量・同帯域でより安いStrix Halo系(Framework等)にハードウェア単価あたりの性能で劣り、常時稼働でなければクラウドレンタルに$/トークンで劣る。コスパ最良の解は規模ごとに別の相手であり、DGX Spark はそのいずれの王者でもない。これは「一台で全域をカバーする」ことの必然的な裏面である。

コスパ論が無効化される三条件 DGX Spark が選ばれるのは、コストパフォーマンスが問題でなくなる次のいずれかが立つときに限られる。
① データセンタ互換が要る(dev→prod移植。Strix Halo もクラウドも代替不能で、ここだけは独占)
② ローカルでなければならない(データを外に出せない/オフライン。クラウドが脱落する)
③ 常時占有する(従量課金が固定資産の償却を上回る使用密度)
どれも立たなければコスパで必ず他に負け、一つでも立てばコスパ比較そのものが土俵から外れる。DGX Spark は「コストパフォーマンスの良い製品」ではなく、「コストパフォーマンスを問わなくてよい理由を持つ人のための製品」である。

そして2026年のメモリ逼迫は、本システムの唯一の強みである容量に最も重く課税し、その費用対効果を圧迫している。仕様は当初の計画どおり出荷されるが、その仕様が誰に届くかは価格が決め、逼迫がその価格を通じて対象読者を、消費者からパワーユーザー、さらに資金付き開発者・企業へと圧縮している、というのが現時点の像である。

出典

  1. LMSYS Org — NVIDIA DGX Spark In-Depth Review(2025-10)/GPT-OSS on DGX Spark(2025-11)
  2. corti.com — Running GPT-OSS-120B on a Single NVIDIA DGX Spark(2026-05)。帯域律速・活性パラメータ・~50 tok/s
  3. Flowtivity — 120 tok/s with 1M context on DGX Spark(2026-05)。Gemma 4 31B dense 3.7 tok/s、Nemotron 120B MoE 23 tok/s
  4. lecompute.fr — DGX Spark vs RTX 5090(2026)。GPT-OSS 20B 205 vs 50 tok/s、70B FP8 ~2.7 tok/s
  5. digitalapplied.com — Best Hardware to Run Local AI 2026/DGX Spark vs M5 Max vs RTX 6000。帯域と$/スループット
  6. ifactoryapp.com — DGX Spark vs RTX PRO 6000 Blackwell(2026)。6〜7倍速・償却後2.8倍安
  7. Tom's Hardware — DGX Spark $700 price hike / memory shortage(2026-02)、RTX Spark & memory市況(2026-06)
  8. edge-ai-vision.com / Red Hat Developer / NVIDIA Technical Blog — NVFP4(Blackwell native FP4、精度、KVキャッシュ)
  9. kubesimplify.com — DGX Spark GB10 teardown(2026-06)。実測電力・sm_121・NVFP4
  10. 日経クロステック — NVIDIA DGX Spark 70万円以上という値付けは妥当か(2026-04)
  11. Network World / Computerworld — DGX Spark on sale but hard to find(2025-10)。米国入手性
  12. NVIDIA — DGX Spark 製品ページ/リファレンス構成(GB10, 128GB LPDDR5X, 273GB/s, 1 PFLOP FP4 sparse)

本レポートは公開情報に基づく構造分析であり、投資・購買助言を構成するものではない。数値は各出所の四半期・調査時点により改定されうる。tok/s等の実行性能はモデル・ランタイム・量子化・ソフトウェア成熟度に強く依存する代表値であり、環境により変動する。複数の出所間で数値に差異がある場合は保守的な値またはレンジを採用した。RTX Spark は詳細未公開のため本稿の対象外とし、シリコンを共有する点のみ言及した。