GPU-Finder

Die Logik hinter der Tabelle

Warum Speicherbandbreite, nicht Rechenleistung, Ihre tokens pro Sekunde bestimmt

Das Generieren eines tokens bedeutet, jedes aktive Gewicht im Modell plus den gesamten key-value cache aus dem Speicher zu lesen, eine kleine Menge an Berechnungen auf jedem Wert auszuführen und fast nichts zurückzuschreiben. Die Berechnung ist lange fertig, bevor das nächste Paket an Gewichten eintrifft. Deshalb fühlt sich eine Karte mit enormer Rechenleistung und moderater Speicherbandbreite bei einem einzelnen Chat-Stream träge an und warum die Geschwindigkeitsspalte in der obigen Tabelle aus der Bandbreite und nicht aus den Teraflops abgeleitet ist.

Die Rechnung ist einfach genug für den Kopf. Teilen Sie die Speicherbandbreite durch die Anzahl der Bytes, die das Modell pro token liest, und Sie erhalten eine Obergrenze für die Decode-Geschwindigkeit. Llama 3.1 8B bei Q4_K_M belegt etwa 4,5 GB an Gewichten und etwa 1 GB an Cache bei einem 8K-Kontext. Eine RTX 5080 bewegt 960 GB pro Sekunde, in einer perfekten Welt würde sie also ein paar hundert tokens pro Sekunde produzieren; in der Praxis erreicht eine Runtime etwa drei Viertel des Spitzenwerts, woraus sich die Schätzung von 121 tokens pro Sekunde ergibt.

Am deutlichsten wird dies, wenn man die Kapazität konstant hält. Jede Karte unten hat genau 16GB, also kann jede das gleiche 8B-Modell bei gleicher Quantisierung mit Puffer laden. Das Einzige, was sich ändert, ist, wie schnell der Speicher den Chip versorgt.

Die Spanne beträgt mehr als drei zu eins bei identischer Kapazität, und der Preis korreliert nicht sauber damit. Die RTX 5070 Ti ist günstiger als die RTX 4080 Super und etwa ein Fünftel schneller. Die RTX 4060 Ti kostet mehr als eine Arc A770 und generiert halb so viele tokens pro Sekunde. Wenn Sie eine Gewohnheit von dieser Seite mitnehmen, dann diese: Lesen Sie die Bandbreitenspalte vor der Preisspalte.

Ein ehrlicher Vorbehalt. Die Bandbreite steuert das Decoding, also den Teil, den Sie auf den Bildschirm streamen sehen. Das Lesen Ihres Prompts ist ein anderer Vorgang: Das Modell verarbeitet alle Eingabe-tokens parallel, was zu einer dichten Matrixmultiplikation führt, die stattdessen durch den arithmetischen Durchsatz begrenzt wird. Eine Karte mit schwacher Rechenleistung und guter Bandbreite beginnt bei einem sehr langen Dokument langsam zu antworten und streamt dann schnell, sobald sie startet. Wenn Ihre Arbeitslast hauptsächlich aus langen Prompts und kurzen Antworten besteht, verschiebt sich das Bild zurück zur reinen Rechenleistung.

Ein konkreter Vergleich: ein Modell, sechs Karten

Qwen3 14B bei Q4_K_M mit einem 8K-Kontext benötigt etwa 11,0 GB, sobald Gewichte, Cache und Runtime-Overhead eingerechnet sind. Das ist ein anspruchsvolles, aber realistisches Ziel für ein Mid-Range-System und unterscheidet die Karten auf lehrreiche Weise.

Drei Dinge ergeben sich aus dieser Tabelle. Die RTX 3060 fasst das Modell technisch gesehen, lässt aber 0,2 GB Spielraum, was bedeutet, dass die erste lange Konversation sie überlastet und ein Neuladen mit kürzerem Kontext erzwingt. Die RTX 4060 Ti passt bequem und ist die langsamste Karte in der Gruppe, da sie großzügige Kapazität mit dem hier schmalsten Speicherbus kombiniert. Und eine gebrauchte RTX 3090 für etwa 700 $ erreicht die Geschwindigkeit einer neuen RTX 5070 Ti, bietet Ihnen aber 7,4 GB mehr nutzbaren Speicher – das ist der Unterschied zwischen dem Ausführen eines 14B-Modells und eines 24B-Modells.

Die 24GB-Klippe und wie man sie umgeht

Eine 24GB-Karte wirbt mit 24GB und bietet zur Laufzeit etwa 22,3 GB, nachdem Treiber, CUDA-Kontext und Allokator-Fragmentierung ihren Teil beansprucht haben. Qwen3 32B bei Q4_K_M mit einem 8K-Kontext benötigt 22,8 GB: 18,5 GB Gewichte, 2,0 GB Cache und der Rest ist Overhead. Es fehlt ein halbes Gigabyte. Dies ist die häufigste Enttäuschung bei lokaler Inference, und es lohnt sich, die drei Auswege zu verstehen.

Sie können den Kontext kürzen. Bei 4K benötigt dasselbe Modell 21,7 GB, was das Tool als knapp statt unmöglich einstuft. Sie können die Präzision reduzieren. Q3_K_M senkt den Bedarf auf 18,9 GB und hebt die Schätzung auf einer RTX 4090 von unmöglich auf etwa 42 tokens pro Sekunde, bei einem Qualitätsverlust, den Sie bei komplexem Reasoning bemerken, bei Zusammenfassungen jedoch kaum. Oder Sie kaufen die nächste Kapazitätsstufe. Eine RTX 5090 bietet 29,8 GB nutzbaren Speicher, hält das Modell bei Q4 mit Platz für einen 32K-Kontext und führt es mit etwa 61 tokens pro Sekunde aus.

Die allgemeine Lektion ist, dass Kapazitätsstufen Klippen sind, keine Hänge. Zwischen 22,3 GB und 29,8 GB nutzbarem Speicher gibt es nichts; ein Modell, das um ein halbes Gigabyte scheitert, scheitert also genauso wie eines, das um fünf Gigabyte scheitert. Wenn Sie einkaufen, berechnen Sie den Bedarf bei der Kontextlänge, die Sie tatsächlich nutzen wollen, schlagen Sie etwa zwanzig Prozent drauf und schauen Sie erst dann nach Karten.

Mixture-of-experts-Modelle schreiben die Einkaufsliste um

Ein dichtes Modell liest für jedes token alle seine Gewichte. Ein Mixture-of-experts-Modell speichert viele Experten und leitet jedes token durch eine kleine Teilmenge davon, sodass der Speicher, den es pro token liest, weitaus kleiner ist als der Speicher, den es belegt. Das entkoppelt die beiden Dinge, nach denen Sie suchen: Die Kapazität wird durch die Gesamtparameter bestimmt, die Geschwindigkeit durch die aktiven Parameter.

gpt-oss 120B ist das klarste Beispiel. Im nativen MXFP4-Format benötigt es etwa 63,4 GB bei einem 8K-Kontext, weit jenseits jeder einzelnen Consumer-Karte, aber nur 5,1B Parameter sind pro token aktiv. Auf einer RTX PRO 6000 Blackwell mit 1792 GB/s wird es auf etwa 446 tokens pro Sekunde geschätzt. Llama 3.3 70B bei Q4 ist mit 46,4 GB kleiner auf der Festplatte und läuft auf derselben Karte mit etwa 30 tokens pro Sekunde, da alle 70,6B Parameter jedes Mal gelesen werden. Kleinerer Footprint, fünfzehnmal langsamer.

Der gleiche Trick funktioniert auch weiter unten im Bereich. Qwen3 30B-A3B benötigt 20,1 GB bei Q4 mit einem 8K-Kontext, was auf eine RTX 4090 passt, und nur 3,3B Parameter sind aktiv, daher liegt die Schätzung bei etwa 269 tokens pro Sekunde. Ein dichtes Qwen3 32B passt auf derselben Karte überhaupt nicht. Wenn Sie Kapazität mit begrenztem Budget kaufen, ist ein Mixture-of-experts-Modell der günstigste Weg, um Large-Model-Verhalten auf moderater Hardware zu erhalten, und es ist der eine Fall, in dem eine langsame, aber geräumige Maschine wie ein Mac sehr viel Sinn ergibt.

Neu, gebraucht oder gemietet

Der Gebrauchtmarkt bietet den meisten Wert in dieser Liste. Eine RTX 3090 für etwa 700 $ liefert 936 GB/s und 24GB, was 1,34 GB/s pro Dollar entspricht. Eine neue RTX 4090 für etwa 1.600 $ liefert 1008 GB/s oder 0,63 GB/s pro Dollar. Sie zahlen das Zweieinhalbfache pro Einheit dessen, was Ihre Geschwindigkeit bestimmt, im Austausch für eine Garantie, geringeren Stromverbrauch und bessere Unterstützung für neuere numerische Formate. Das ist ein echter Tausch, aber eher ein Tausch als ein Upgrade.

Mieten ist die ehrliche Basis, an der Sie einen Kauf messen sollten, und der Break-even ist leicht zu berechnen: Teilen Sie den Kaufpreis durch den angebotenen Stundensatz, und Sie erhalten die Anzahl der Nutzungsstunden, ab denen sich der Besitz rechnet. Eine gebrauchte RTX 3090 für 700 $ amortisiert sich gegenüber einer Karte, die für fünfzig Cent pro Stunde gemietet wird, nach 1.400 Stunden. Wenn Sie die Maschine zwei Stunden am Tag nutzen, sind das fast zwei Jahre; bis dahin ist die Karte älter und das Modell, das Sie ausführen wollten, wurde bereits zweimal ersetzt.

Strom gehört ebenfalls in die Berechnung. Eine Karte, die unter Last acht Stunden am Tag 450 Watt zieht, verbraucht 3,6 Kilowattstunden; bei zwanzig Cent pro Kilowattstunde sind das etwa 263 $ pro Jahr, und eher mehr, wenn der Raum gekühlt werden muss. Setzen Sie Ihren eigenen Tarif ein, aber lassen Sie diesen Punkt nicht weg.

Es gibt auch ein wirklich kostenloses Angebot, das man kennen sollte. Die T4, die in kostenlosen Colab-Notebooks ausgegeben wird, hat 16GB und 320 GB/s, gut für etwa 40 tokens pro Sekunde bei einem 8B-Modell. Die P100 in kostenlosen Kaggle-Sessions hat die gleichen 16GB, aber 732 GB/s, was etwa 92 tokens pro Sekunde entspricht – komfortabel vor einer 449 $ RTX 4060 Ti. Keine davon ist eine Workstation, beide haben Sitzungsbeschränkungen und beide sind hervorragend geeignet, um herauszufinden, ob sich ein Modell lohnt, Hardware dafür zu kaufen.

Consumer, Workstation oder Datacenter

Der Preisaufschlag für professionelle Karten bietet vier Vorteile: mehr Speicher auf einer Platine, ECC-Schutz, eine für dichte Racks ausgelegte Kühlung und eine Lizenz, die den Einsatz im Rechenzentrum erlaubt. Er erkauft jedoch nicht proportional mehr Bandbreite, welche letztlich über Ihre Token-Rate entscheidet.

Betrachten Sie die letzten beiden Spalten zusammen. Die RTX PRO 6000 Blackwell erreicht bei der Bandbreite das Niveau einer RTX 5090 und bietet Ihnen den dreifachen Speicher in einem Slot für 89 $ pro Gigabyte. Das ist teuer im Vergleich zu vier gebrauchten RTX 3090 für 29 $ pro Gigabyte, aber die einzelne Karte führt Llama 3.3 70B mit etwa 30 Token pro Sekunde aus, gegenüber etwa 12 beim Vier-Karten-System, benötigt nur einen PCIe-Slot statt vier und erfordert keinen eigenen Stromkreis. Eine H100 kostet 338 $ pro Gigabyte und lohnt sich nur, wenn viele Benutzer gleichzeitig auf die Maschine zugreifen, da ihr Bandbreitenvorteil besser für Batching als für eine einzelne Konversation genutzt wird.

Seien Sie skeptisch gegenüber dem reinen Datacenter-Label. Die L4 kostet 2.500 $ für 24 GB bei 300 GB/s und ist auf geringen Stromverbrauch und hohe Dichte ausgelegt, nicht auf schnelles Single-Stream-Decoding. Bei einem 8B-Modell liegt sie geschätzt bei etwa 38 Token pro Sekunde, etwa ein Drittel dessen, was eine gebrauchte RTX 3090 für 700 $ leistet. Sie ist eine exzellente Karte für Racks, die 75-Watt-Slots benötigen, aber eine schlechte Wahl für den Schreibtisch.

Was Ihnen mehrere GPUs wirklich bringen

Die Standardmethode, ein Modell auf Karten aufzuteilen, erfolgt schichtweise: Die erste Karte hält die Schichten eins bis zwanzig, die zweite den Rest, und der Hidden State wird pro Token einmal pro Kartengrenze über den Bus übertragen. Diese Übergabe umfasst einige hundert Kilobyte, daher reicht ein Slot mit vier Lanes meist aus, und die PCIe-Bandbreite ist selten der Flaschenhals, den man erwartet. Die Kapazität addiert sich sauber.

Die Geschwindigkeit tut dies nicht. Bei einer Schichtaufteilung berechnet immer nur eine Karte, während die anderen warten; eine einzelne Konversation sieht also grob die Bandbreite einer Karte abzüglich der Synchronisationskosten. Die Schätzungen auf dieser Seite spiegeln das wider: Ein 8B-Modell auf einer RTX 4090 erreicht etwa 127 Token pro Sekunde, dasselbe Modell auf zwei RTX 4090 etwa 102. Das Hinzufügen einer Karte machte einen Benutzer langsamer. Es lohnt sich nur, wenn der zusätzliche Speicher es Ihnen ermöglicht, etwas auszuführen, das vorher nicht möglich war, oder wenn Sie genug gleichzeitige Benutzer haben, um beide Karten auszulasten.

Tensor-Parallelität ist die Alternative: Jede Schicht wird über alle Karten verteilt, sodass sie gemeinsam rechnen, was die Single-Stream-Geschwindigkeit erhöht. Dabei werden Aktivierungen an jeder Schicht statt nur an jeder Grenze ausgetauscht, was eine schnelle Verbindung erfordert und meist eine Kartenanzahl, die die Attention-Heads gleichmäßig teilt. Auf Consumer-Karten ohne NVLink ist das oft enttäuschend. Achten Sie auch auf die Kapazitätsrechnung: Die 48 GB in einem RTX 4090-Setup mit zwei Karten ergeben etwa 43,2 GB nutzbaren Speicher, was für Llama 3.3 70B bei Q4 und 8K-Kontext nicht ausreicht, da dies 46,4 GB erfordert.

Apple Silicon: Kapazität pro Dollar, zum Preis der Bandbreite

Unified Memory bedeutet, dass CPU und GPU sich einen Pool teilen, sodass ein Mac einem Modell weit mehr Speicher zuweisen kann als jede Consumer-Grafikkarte. Ein Mac Studio mit 512 GB kostet etwa 19 $ pro Gigabyte, die günstigste Kapazität in dieser Liste, und ein 192 GB Mac Studio etwa 29 $ pro Gigabyte. Dagegen stellt das Standard-Allokationslimit einer Runtime etwa drei Viertel des installierten Speichers zur Verfügung; planen Sie also eher mit 384 GB bzw. 144 GB statt mit den Nennwerten.

Der Haken ist die Bandbreite, die über die Modellreihe hinweg enorm variiert. Ein Mac mini M4 hat 120 GB/s, was bei einem 8B-Modell etwa 13 Token pro Sekunde entspricht. Ein MacBook Pro mit M4 Pro hat 273 GB/s und erreicht etwa 10 Token pro Sekunde bei Gemma 3 27B, während eine RTX 4090 etwa 43 schafft. Ein M4 Max erreicht 546 GB/s und ein M2 Ultra 800 GB/s, was endlich in der Nähe einer guten Desktop-Karte liegt. Das Fazit lautet also: Kaufen Sie einen Mac für Modelle, die sonst nichts in Ihrem Budget halten kann, nicht für die Geschwindigkeit bei Modellen, die bereits auf eine GPU passen.

Zwei praktische Hinweise. Die Prompt-Verarbeitung ist die Schwachstelle: Die für den parallelen Prefill-Pass verfügbare Rechenleistung liegt weit hinter einer dedizierten GPU zurück, sodass das Einlesen langer Dokumente spürbar länger dauert, auch wenn das anschließende Streaming respektabel aussieht. Und die Kapazität ist immer noch begrenzt: DeepSeek R1 bei Q4 benötigt etwa 410 GB, was selbst die 384 GB übersteigt, die ein 512 GB Mac Studio tatsächlich bereitstellt. Mixture-of-Experts-Modelle sind die Stärke dieser Hardware, da sie eher Kapazität als Bandbreite erfordern.

AMD und Intel, ehrlich gesagt

Auf dem Papier sehen die Nicht-NVIDIA-Optionen stark aus. Eine Radeon RX 7900 XTX bietet 24 GB bei 960 GB/s für etwa 900 $, mehr Bandbreite als eine gebrauchte RTX 3090 für etwas mehr Geld. Eine Arc A770 bietet 560 GB/s und 16 GB für etwa 280 $, was 2,00 GB/s pro Dollar entspricht, das beste Verhältnis in diesem Datensatz. Eine Instinct MI300X bietet 192 GB bei 5300 GB/s für etwa 15.000 $, mehr Speicher und mehr Bandbreite als eine H100 zum halben Preis.

Die Lücke ist die Software, und sie hat sich stark verkleinert, ohne ganz zu verschwinden. Alles, was auf llama.cpp basiert, läuft über ROCm, Vulkan oder SYCL gut auf beiden Anbietern, daher sind normale Chat- und Completion-Workloads kein Problem. Die Reibungspunkte liegen im Detail: Ein neues Quantisierungsformat erscheint meist zuerst mit einem CUDA-Kernel, einige Attention-Implementierungen und Speculative-Decoding-Pfade sind monatelang nur für CUDA verfügbar, Trainings- und Fine-Tuning-Stacks setzen weit stärker auf NVIDIA als Inference-Stacks, und die Referenzantwort in einem Forum setzt CUDA voraus. Planen Sie dafür eher Zeit als Geld ein.

Die vernünftige Regel: Wenn Sie veröffentlichte Modelle mit einer Mainstream-Runtime ausführen möchten und gerne basteln, sind AMD und Intel eine gute Wahl. Wenn Ihre Arbeit davon abhängt, eine Forschungstechnik in der Woche ihrer Veröffentlichung übernehmen zu können, oder wenn Sie sowohl Fine-Tuning als auch Serving benötigen, ist die CUDA-Steuer eine lohnende Investition.

Strom, Hitze, Lärm und der Rest der Maschine

Die Board-Leistungsaufnahme der Karten, die tatsächlich gekauft werden, reicht von etwa 350 Watt für eine RTX 3090 bis 450 für eine RTX 4090 und 575 für eine RTX 5090. Rechnen Sie etwa 150 Watt für den Rest des Desktops hinzu und dimensionieren Sie das Netzteil mit Puffer, da diese Karten kurze Lastspitzen weit über ihrem Nennwert ziehen und ein Netzteil am Limit eher abschaltet als drosselt. Eine RTX 4090 läuft problemlos mit einem 850-Watt-Netzteil; zwei RTX 3090 benötigen 1000 Watt oder mehr.

Multi-Karten-Systeme stoßen überraschend schnell an die Grenzen der Steckdose. Vier RTX 3090 bei Volllast verbrauchen 1400 Watt, noch vor dem Rest des Systems, was die Dauerbelastbarkeit eines Standard-15-Ampere-Stromkreises übersteigt. Das ist der praktische Grund, warum große Heim-Rigs oft leistungslimitiert sind. Die gute Nachricht: Power-Limiting kostet weniger als erwartet. Decoding ist bandbreitenlimitiert, der Speicher läuft weiter mit voller Geschwindigkeit, und eine Drosselung des Kerns auf 70 Prozent des Standardwerts kostet meist nur einstellige Prozentpunkte bei der Token-Rate, senkt aber Hitze und Lärm drastisch.

Die Kühlung sollte vor der Bestellung bedacht werden. Consumer-Karten sind Open-Air-Designs, die Hitze ins Gehäuse abgeben; zwei davon in benachbarten Slots werden sich gegenseitig aufheizen, es sei denn, das Mainboard bietet genug Abstand oder Sie verwenden Riser-Kabel. Datacenter-Komponenten wie A100, H100, L40S und L4 sind passiv gekühlt: Sie haben keine Lüfter und sind auf den starken Luftstrom eines Rack-Gehäuses angewiesen. Der Einbau in einen normalen Desktop führt fast sicher zu Thermal Throttling. Workstation-Karten im Blower-Stil sind der Kompromiss, der in einem Tower tatsächlich funktioniert.

Kauf für ein Modell, das Sie noch nicht besitzen

Die Gewichte sind der berechenbare Teil der Rechnung. Der Cache überrascht, da er linear mit dem Kontext wächst und es keine Rolle spielt, wie gut Sie das Modell quantisiert haben. Llama 3.1 8B bei Q4 benötigt 6,6 GB bei 8K-Kontext und 22,8 GB bei vollen 128K, wovon 16 GB allein auf den Cache entfallen. Qwen3 32B steigt von 22,8 GB bei 8K auf 55,2 GB bei 128K. Wenn Sie einem Modell ganze Codebasen füttern wollen, dimensionieren Sie die Karte für den Cache, nicht für die Gewichte.

Die Architektur ändert dies stark. Gemma 3 27B nutzt Sliding-Window-Attention bei den meisten Schichten, daher kostet ein 131K-Kontext etwa 10,4 GB Cache, während ein konventionelles 32B-Modell 32 GB benötigt. Modelle mit Multi-Head Latent Attention, wie die DeepSeek-Familie, komprimieren den Cache noch weiter. Zwei Modelle mit gleicher Parameteranzahl können bei langem Kontext völlig unterschiedliche Anforderungen haben; prüfen Sie daher den tatsächlichen Wert, statt Annahmen zu treffen.

Sie haben Stellschrauben, falls es nicht passt. Die Quantisierung des Caches selbst ist die am wenigsten genutzte: Llama 3.3 70B bei Q4 mit 32K-Kontext benötigt 54,5 GB mit normalem 16-Bit-Cache, 49,4 GB mit 8-Bit-Cache und 46,7 GB bei 4-Bit, wobei der Qualitätsverlust eher das Langzeitgedächtnis als die Sprachgewandtheit betrifft. Die Bedienung mehrerer Personen ändert die Rechnung erneut, da die Gewichte pro Schritt für den gesamten Batch einmal gelesen werden: Acht gleichzeitige Streams eines 8B-Modells benötigen 14,2 GB statt 6,6, und jeder Stream sieht etwa 56 Token pro Sekunde statt 127, während die Maschine insgesamt weit mehr produziert.

Die Einkaufsliste ist also kurz. Entscheiden Sie sich für das größte Modell, das Sie ernsthaft ausführen wollen, mit der Quantisierung, mit der Sie leben können, und dem Kontext, den Sie wirklich nutzen. Addieren Sie zwanzig Prozent für die Runtime und für ein Modell-Release, das etwas größer ist als das letzte. Vergleichen Sie die Bandbreite pro Dollar bei den Karten, die diese Hürde nehmen. Testen Sie das Modell dann, bevor Sie Geld ausgeben, eine Woche lang über einen gehosteten Endpoint und finden Sie heraus, ob Sie es wirklich brauchen.