GPU検索

この表の根拠

なぜ演算能力ではなくメモリ帯域幅がトークン毎秒を決定するのか

1つのトークンを生成するには、モデル内のすべてのアクティブな重みとキーバリューキャッシュ全体をメモリから読み込み、各値に対して少量の演算を行い、書き戻しはほとんど行いません。演算は次の重みのバッチが到着するよりもずっと前に終了します。これが、演算能力が非常に高くメモリ帯域幅が控えめなカードがシングルチャットストリームで遅く感じられる理由であり、上記の表の速度列がテラフロップスではなく帯域幅から導き出されている理由です。

計算は暗算できるほど単純です。メモリ帯域幅をモデルがトークンごとに読み込むバイト数で割れば、デコード速度の上限が得られます。Llama 3.1 8BのQ4_K_Mは、8Kコンテキストで約4.5GBの重みと約1GBのキャッシュを保持します。RTX 5080は毎秒960GBを転送するため、理想的な環境では毎秒数百トークンを生成できますが、実際にはランタイムはピークの約4分の3に達するため、毎秒121トークンという推定値が導かれます。

これを最も明確に理解する方法は、容量を一定に保つことです。以下の各カードは正確に16GBを搭載しているため、すべて同じ8Bモデルを同じ量子化で余裕を持って保持できます。変化するのは、メモリがチップにデータを供給する速度だけです。

同じ容量でも3倍以上の差があり、価格と性能は必ずしも比例しません。RTX 5070 TiはRTX 4080 Superよりも安価で、約20%高速です。RTX 4060 TiはArc A770よりも高価ですが、トークン生成速度は半分です。このページから1つだけ教訓を得るとすれば、価格列を見る前に帯域幅列を読むことです。

1つ注意点があります。帯域幅は、画面にストリーミングされるデコード部分を支配します。プロンプトの読み込みは別の操作であり、モデルはすべての入力トークンを並列処理するため、演算スループットによって制限される密行列乗算になります。演算能力が弱く帯域幅が十分なカードは、非常に長いドキュメントに対して回答開始が遅くなりますが、開始後は高速にストリーミングされます。ワークロードが主に長いプロンプトと短い回答である場合、重視すべきは演算能力になります。

比較例：1つのモデル、6枚のカード

Qwen3 14B (Q4_K_M) で8Kコンテキストの場合、重み、キャッシュ、ランタイムオーバーヘッドを含めると約11.0GB必要です。これはミドルレンジ構成にとって要求は高いが現実的な目標であり、カードの性能差を明確に示します。

この表から3つのことがわかります。RTX 3060は理論上モデルを保持できますが、余裕は0.2GBしかなく、最初の長い会話で容量を超え、より短いコンテキストでの再読み込みを強制されます。RTX 4060 Tiは余裕を持って収まりますが、このグループで最も低速です。これは、大容量と最も狭いメモリバスを組み合わせているためです。また、約700ドルの中古RTX 3090は、RTX 5070 Tiと同等の速度でありながら、7.4GB多くの使用可能メモリを提供します。これは14Bモデルと24Bモデルを実行できるかどうかの違いになります。

24GBの壁と、その対策

24GBカードは24GBと謳っていますが、ドライバー、CUDAコンテキスト、アロケーターの断片化による消費後、ランタイムは約22.3GBになります。Qwen3 32B (Q4_K_M) で8Kコンテキストの場合、重み18.5GB、キャッシュ2.0GB、その他オーバーヘッドで計22.8GB必要です。0.5GB不足します。これはローカル推論で最もよくある失望であり、3つの解決策を理解しておく価値があります。

コンテキストを減らすことができます。4Kでは同じモデルで21.7GBとなり、ツール上は「不可能」ではなく「余裕なし」となります。精度を下げることもできます。Q3_K_Mなら18.9GBまで下がり、RTX 4090での推定値は「不可能」から毎秒約42トークンに向上します。品質低下は複雑な推論では目立ちますが、要約ではほとんど気になりません。あるいは、より上位の容量のカードを購入することもできます。RTX 5090は29.8GB使用可能で、Q4でモデルを保持しつつ32Kコンテキストの余裕があり、毎秒約61トークンで実行できます。

一般的な教訓として、容量の段階はスロープではなく崖です。使用可能メモリ22.3GBと29.8GBの間には何もありません。そのため、0.5GB不足するモデルも5GB不足するモデルも、同じように実行できません。購入時は、実際に使用するコンテキスト長での必要量を算出し、約20%の余裕を持たせてからカードを選定してください。

Mixture-of-expertsモデルによる選定基準の変化

密モデルはトークンごとにすべての重みを読み込みます。Mixture-of-expertsモデルは多数の専門家を保持し、各トークンをその一部のサブセットにルーティングするため、トークンごとに読み込むメモリ量は占有メモリ量よりもはるかに少なくなります。これにより、選定基準が分離されます。容量は総パラメータ数で決まり、速度はアクティブなパラメータ数で決まります。

gpt-oss 120Bが最も明確な例です。ネイティブのMXFP4形式では8Kコンテキストで約63.4GB必要であり、単一のコンシューマーカードでは到底扱えませんが、トークンあたりのアクティブパラメータ数はわずか5.1Bです。1792 GB/sのRTX PRO 6000 Blackwellでは、毎秒約446トークンと推定されます。Llama 3.3 70B (Q4) はディスク上で46.4GBと小さいですが、すべての70.6Bパラメータが毎回読み込まれるため、同じカードで毎秒約30トークンとなります。フットプリントは小さいですが、15倍低速です。

同じ手法はより小規模なモデルでも有効です。Qwen3 30B-A3BはQ4・8Kコンテキストで20.1GB必要で、RTX 4090に収まります。アクティブなパラメータは3.3Bのみであるため、推定速度は毎秒約269トークンです。同じカードで密モデルのQwen3 32Bは全く収まりません。予算内で容量を確保する場合、Mixture-of-expertsモデルは中程度のハードウェアで大規模モデルの挙動を得るための最も安価な方法であり、Macのような低速だが大容量のマシンが非常に理にかなう唯一のケースです。

新品、中古、またはレンタル

中古市場にはこのリストの価値の大部分があります。約700ドルのRTX 3090は936 GB/sと24GBを提供し、1ドルあたり1.34 GB/sとなります。約1,600ドルの新品RTX 4090は1008 GB/sで、1ドルあたり0.63 GB/sです。保証、低消費電力、新しい数値形式へのサポートと引き換えに、速度を決定する要素に対して2.5倍のコストを支払うことになります。これは現実的なトレードオフですが、アップグレードというよりは交換です。

レンタルは購入を検討する際の正直な基準となります。損益分岐点は簡単に計算できます。購入価格を提示された時間単価で割れば、所有する方が安くなるまでの使用時間が出ます。700ドルの中古RTX 3090は、時給0.5ドルのレンタルカードと比較して1,400時間で元が取れます。1日2時間使用する場合、約2年かかりますが、その頃にはカードは旧式化し、実行したかったモデルは2回入れ替わっているでしょう。

電気代も計算に含めるべきです。負荷時に450Wを消費するカードを1日8時間使用すると3.6kWh消費します。1kWhあたり20セントとすると年間約263ドルになり、部屋の冷却が必要な場合はさらに高くなります。自身の料金体系に置き換えて計算し、この項目を無視しないでください。

知っておくべき真に無料のティアもあります。無料のColabノートブックで提供されるT4は16GB・320 GB/sで、8Bモデルで毎秒約40トークンを生成できます。無料のKaggleセッションのP100は同じ16GBですが732 GB/sで、毎秒約92トークンとなり、449ドルのRTX 4060 Tiを大きく上回ります。どちらもワークステーションではなくセッション制限がありますが、モデルのためにハードウェアを購入する価値があるかを確認するには最適です。

コンシューマー、ワークステーション、またはデータセンター

プロ用カードの価格プレミアムは4つのメリットを提供します：1枚の基板上により多くのメモリ、ECC保護、密集ラック向けの冷却設計、データセンター展開を許可するライセンスです。しかし、実際にトークンレートを決定する帯域幅は比例して増えません。

最後の2列を合わせて読んでください。RTX PRO 6000 Blackwellは帯域幅でRTX 5090に匹敵し、1スロットで3倍のメモリを提供します（1GBあたり89米ドル）。これは1GBあたり29米ドルの使用済みRTX 3090×4台と比較すると高価ですが、単一カードでLlama 3.3 70Bを約30トークン/秒で実行し、4スロットではなく1スロットで済み、専用回路も不要です。H100は1GBあたり338米ドルで、バッチ処理に帯域幅のメリットを最大限活かす場合にのみ価値があります。

データセンター用バッジだけで判断しないでください。L4は24GBで300 GB/s、2,500米ドルで、低消費電力・高密度向けに設計されており、高速なシングルストリームデコード向けではありません。8Bモデルで約38トークン/秒と推定され、700米ドルの使用済みRTX 3090の約3分の1です。75Wスロットが必要なラックでは優秀なカードですが、机上では不向きです。

複数GPUの真のメリット

モデルをカード間で分割するデフォルト方法はレイヤー単位です：1枚目のカードがレイヤー1～20を保持し、2枚目が残りを担当し、隠れ状態がトークンごとにカード境界でバス越しに受け渡されます。この受け渡しは数百キロバイトで、4レーンのスロットで十分なことが多く、PCIe帯域幅がボトルネックになることはまれです。容量はきれいに加算されます。

速度は向上しません。レイヤー分割では、1枚のカードしか同時に計算せず他は待機するため、1会話あたりの帯域幅は同期コストを差し引いた1枚分の性能にほぼ等しくなります。このページの推定値がそれを反映しています：RTX 4090×1枚で8Bモデルが約127トークン/秒、同モデル×2枚で約102トークン/秒です。カードを追加すると1ユーザーあたりの速度が低下します。追加メモリで実行可能なモデルが増える場合や、同時ユーザーが多く両方のカードを常に稼働させられる場合にのみ価値があります。

代替手段はテンソル並列処理です：すべてのレイヤーがすべてのカードに分散されて同時に計算されるため、シングルストリーム速度は向上します。ただし、各レイヤーで活性化を交換するため高速なインターコネクトが必要で、通常はアテンションヘッド数を均等に分割できる枚数が求められます。NVLinkのないコンシューマーボードでは期待外れになることが多いです。容量計算にも注意してください：RTX 4090×2枚構成の48GBは約43.2GBが利用可能で、Q4 + 8KコンテキストのLlama 3.3 70Bには不十分です（46.4GB必要）。

Apple Silicon：ドルあたりの容量、帯域幅が代償

ユニファイドメモリはCPUとGPUが1つのプールを共有するため、Macはコンシューマーグラフィックカードよりはるかに多くのメモリをモデルに割り当てられます。512GBのMac StudioはGBあたり約19米ドルで、このリストで最も安価な容量です。192GBモデルはGBあたり約29米ドルです。ただし、デフォルトの割り当て制限により実行時にはインストールメモリの約4分の3しか利用できないため、実質的にはそれぞれ384GBと144GBを計画してください。

落とし穴は帯域幅で、その差は範囲によって大きく異なります。Mac mini M4は120 GB/sで8Bモデルで約13トークン/秒です。M4 Pro搭載MacBook Proは273 GB/sでGemma 3 27Bで約10トークン/秒、RTX 4090は約43です。M4 Maxは546 GB/s、M2 Ultraは800 GB/sに達し、ようやく良好なデスクトップカード並みです。つまり、トレードオフの形はこうです：予算内で他のハードウェアが扱えないモデルを実行するためにMacを購入するのであって、GPUで既に実行可能なモデルの速度向上のためではありません。

実用的な注意点が2つ。プロンプト処理は弱点です：並列プリフィル処理で利用可能な計算能力はディスクリートGPUに大きく劣るため、長いドキュメントはその後のストリーミングが見栄え良くても取り込みに時間がかかります。また、容量は依然として有限です：Q4のDeepSeek R1は約410GB必要で、512GB Mac Studioが実際に割り当て可能な384GBを超えます。Mixture-of-expertsモデルはこのハードウェアの真価を発揮します。なぜなら、帯域幅よりも容量を求めるからです。

AMDとIntel、正直なところ

理論上、NVIDIA以外の選択肢は強力に見えます。Radeon RX 7900 XTXは24GBで960 GB/s、約900米ドルで、使用済みRTX 3090よりわずかに高価ながら帯域幅は上回ります。Arc A770は560 GB/s、16GBで約280米ドル、GB/sあたり2.00米ドルでこのデータセット内で最も優れた比率です。Instinct MI300Xは192GBで5300 GB/s、約15,000米ドルで、H100よりもメモリと帯域幅が多く、価格は半額程度です。

ギャップはソフトウェアにあり、完全に埋まったわけではありませんが大幅に縮まっています。llama.cppをベースにしたものはROCm、Vulkan、SYCL経由で両ベンダーで問題なく動作するため、一般的なチャットや完了処理ワークロードは問題ありません。摩擦は端に現れます：新しい量子化フォーマットは通常まずCUDAカーネルでリリースされ、一部のアテンション実装やスペキュレイティブデコーディングパスは数か月間CUDA専用で、トレーニング・ファインチューニングスタックは推論スタックよりもNVIDIAを前提としています。フォーラムの回答もCUDAを前提とすることが多いです。そのため、金銭ではなく時間を予算化してください。

合理的なルール：リリース済みモデルをメインストリームランタイムで実行し、いじくり回すのが好きな場合、AMDとIntelはコストパフォーマンスに優れています。研究手法を公開直後に採用する必要がある場合や、サービングだけでなくファインチューニングも必要な場合、CUDA税は確かに価値のあるものを提供してくれます。

消費電力、発熱、騒音、その他マシン全体

実際に購入されるカードのボード消費電力は、RTX 3090の約350WからRTX 4090の450W、RTX 5090の575Wまで幅があります。デスクトップの残りの部分に約150Wを追加し、電源容量に余裕を持たせてください。これらのカードは定格を大幅に上回る短時間の過渡スパイクを引き起こすため、限界まで動作する電源はスロットルではなくトリップします。RTX 4090×1枚は850Wユニットで快適に動作します。RTX 3090×2枚は1000W以上が必要です。

マルチカード構成は意外と早くコンセントの壁にぶつかります。RTX 3090×4枚がフル稼働で1400W（システムの残りを除く）に達し、これは標準的な15A 120V回路が連続して供給できる限界を超えます。このため大規模な自宅用機器が消費電力制限に直面する実用的な理由です。良いニュースは、消費電力制限のコストは予想よりも低いことです：デコードは帯域幅に律速され、メモリはフルスピードで動作し、コアを定格の70%に制限してもトークンレートは数%しか低下せず、発熱と騒音は大幅に低減します。

注文前に冷却について考える価値があります。コンシューマーカードはオープンエア設計でケース内に熱を排出するため、隣接スロットに2枚重ねると基板が離していない限り互いに熱を帯びます。A100、H100、L40S、L4などのデータセンターパーツは受動冷却です：ファンがなく、ラックシャーシの激しい前後方向の気流に依存します。これを普通のデスクトップに搭載するとサーマルスロットリングが発生することで有名です。ブロワー式ワークステーション用カードは、タワー型で実際に機能する妥協策です。

購入を検討中のモデルをまだ所有していない場合

重みは予測可能なコストだが、キャッシュは文脈が長くなるほど線形に増加し、量子化の精度に関係なく驚くほどのコストになる。Llama 3.1 8B（Q4）は8K文脈で6.6GB、最大128K文脈では22.8GB（そのうち16GBがキャッシュ）を要する。Qwen3 32Bは8K文脈で22.8GB、128K文脈で55.2GBに増加。コードベース全体を入力する場合は、重みではなくキャッシュサイズに基づいてGPUを選択する。

アーキテクチャによって状況は大きく変わる。Gemma 3 27Bは多くの層でスライディングウィンドウアテンションを使用しており、131K文脈でキャッシュに約10.4GBしか必要としないが、従来の32Bモデルでは32GBを要する。DeepSeekファミリーのようなマルチヘッド潜在アテンションを使用するモデルは、さらにキャッシュを圧縮する。同じパラメータ数のモデルでも長文脈時のメモリ使用量は大きく異なるため、想定ではなく実測値を確認する。

選択肢はある。キャッシュ自体の量子化が最も見落とされている。Llama 3.3 70B（Q4、32K文脈）は通常の16ビットキャッシュで54.5GB、8ビットで49.4GB、4ビットで46.7GBと、長距離記憶力に影響する品質コストを抑えられる。複数ユーザーへのサービングでは計算が変わる。重みはバッチ全体で1ステップにつき1回読み込まれ、8Bモデルの同時8ストリームでは6.6GBではなく14.2GBを要し、各ストリームは127ではなく約56トークン/秒で処理されるが、マシン全体のスループットは向上する。

購入チェックリストはシンプルだ。実行する最大モデル、許容可能な量子化、実際に使用する文脈を決める。ランタイムと次回リリースのモデルサイズに20%を上乗せし、その基準を満たすカード間で帯域幅あたりのコストを比較する。その後、実際に購入する前に1週間ホスト型エンドポイントでモデルを実行し、本当に必要かどうかを確認する。