Modell-Finder

Methode

So wählen Sie ein Open-Weight-Modell richtig aus

Die meisten Modell-Shortlists beginnen mit der Frage, welches Modell das „beste“ sei, und kommen davon nicht mehr weg, da „bestes“ keine inhärente Eigenschaft eines Modells ist. Es ist eine Kombination aus Modell, Aufgabe, Lizenz und der spezifischen Hardware. Der sinnvollste Ansatz ist, Ihre Anforderungen nach Priorität zu ordnen, beginnend mit der restriktivsten. Angewandt auf diese Tabelle reduziert dies die Auswahl meist in zwei Schritten auf eine Handvoll Modelle.

1. Legen Sie das Speicherbudget in Gigabyte fest, nicht in Parametern. Eine Parameteranzahl ist ohne Angabe von Präzision und Kontextlänge nicht aussagekräftig. Von den 63 Modellen hier passen 44 bei Q4_K_M und 4K-Kontext in 24 GB, 35 in 16 GB und nur 24 in 8 GB. Geben Sie Ihren tatsächlichen Wert oben in das Budget-Feld ein und sehen Sie, wie die Liste schrumpft.
2. Legen Sie die Kontextlänge vor der Shortlist fest, nicht danach. Kontext wird durch den KV-Cache bezahlt, und bei manchen Architekturen ist dieser Bedarf enorm. Command R 35B benötigt 27,4 GB bei 4K und 194,8 GB bei 128K. Qwen3 32B steigt im gleichen Bereich von 21,7 GB auf 55,2 GB. Wenn Sie bei 4K filtern und bei 128K bereitstellen, werden Sie den Unterschied im ungünstigsten Moment bemerken.
3. Filtern Sie nach Lizenz, bevor Sie nach Fähigkeiten filtern. Fähigkeiten sind graduell und oft kompromissbereit. Eine Lizenz, die Ihren Anwendungsfall ausschließt, ist jedoch ein hartes Limit. 39 dieser Modelle sind unter Apache 2.0, MIT oder Modified MIT lizenziert; die anderen 24 haben Bedingungen, die von einfacher Namensnennung bis hin zum Verbot kommerzieller Nutzung reichen.
4. Filtern Sie erst jetzt nach den Stärken des Modells. Die Fähigkeits-Chips oben verwenden die Tags, die von Labs und Community genutzt werden: code, reasoning, vision, agents, multilingual, rag, edge, long-context. Wählen Sie ein oder zwei aus, nicht fünf. Jedes zusätzliche Tag führt Sie zu einem Modell, das größer ist, als es die Aufgabe erfordert.
5. Erstellen Sie eine Shortlist mit drei Modellen statt nur einem und testen Sie diese mit Ihren eigenen Daten. 30 bis 50 echte Beispiele aus Ihrem Arbeitsalltag zeigen die Eignung schneller und ehrlicher als jedes öffentliche Leaderboard. Behalten Sie die beiden unterlegenen Modelle. Modelle werden alle paar Monate ersetzt, aber das Test-Framework ist das, was Sie behalten sollten.

Eine weitere Regel, die viel Ärger erspart: Wählen Sie das kleinste Modell, das Ihre Qualitätsanforderungen erfüllt, und hören Sie dann auf. Unnötige Reserven kosten bei jeder Anfrage Latenz, Strom und Hardware, die zwischen den Anfragen weitgehend ungenutzt bleibt.

Dense, Mixture of Experts und die Zahl, die Ihre Hardware bestimmt

Jedes Modell in dieser Tabelle enthält zwei Parameterzahlen, die zwei verschiedene Fragen beantworten. Die Gesamtparameter bestimmen, wie viel Speicher Sie benötigen, da jedes Gewicht an einem Ort liegen muss, den die GPU kurzfristig erreichen kann. Die aktiven Parameter bestimmen die Ausführungsgeschwindigkeit, da zur Erzeugung eines Tokens nur die Gewichte gelesen werden, die das Token durchläuft. Bei einem Dense-Modell sind diese beiden Zahlen identisch, sodass man sich keine Gedanken darüber machen muss. Bei einem Mixture of Experts-Modell können sie um den Faktor dreißig abweichen, und das gesamte Design existiert, um diese Lücke nutzbar zu machen.

Betrachten Sie die Tabelle als Abwägung, nicht als Ranking. Ein Mixture of Experts-Modell wandelt Speicher in Geschwindigkeit um. Sie kaufen genug VRAM, um jeden Experten zu speichern, und nutzen dann nur einen kleinen Teil davon für jedes Token. Dadurch ist die Dekodierung schnell und das Modell intelligenter, als es die Anzahl der aktiven Parameter vermuten lässt. Das ist ein guter Kompromiss, wenn Speicher die Ressource ist, die Sie übrig haben, und Latenz diejenige, die Sie nicht haben.

In der umgekehrten Situation, in der sich die meisten Menschen befinden, ist es ein schlechter Kompromiss. Wenn Sie eine 24GB-Karte haben, investiert ein MoE Ihre knappste Ressource in Gewichte, die Sie kaum nutzen. Qwen3 30B-A3B mit 19,7 GB und Qwen3 32B mit 21,7 GB belegen fast den gleichen Speicher, aber das Dense-Modell steckt zehnmal mehr Rechenleistung in jedes Token. Auf einer einzelnen Karte ohne Durchsatzdruck ist das Dense 32B meist die bessere Wahl; auf einer Maschine, die viele gleichzeitige Benutzer bedient, gewinnt das MoE deutlich.

Es gibt einen zweiten Effekt, den man kennen sollte. Da ein MoE so wenige Gewichte pro Token liest, ist es weit weniger anfällig für Speicherbandbreitenprobleme – genau die Einschränkung, die große Dense-Modelle auf Consumer-Hardware und Apple Silicon träge wirken lässt. Deshalb generiert gpt-oss 120B, obwohl es etwa 72 GB benötigt, auf einer Maschine mit großem Unified Memory schneller als ein Dense 70B, das 45 GB benötigt. Kapazität und Geschwindigkeit werden durch unterschiedliche Zahlen bestimmt, und der Mixture-of-Experts-Filter oben ermöglicht es Ihnen, beides zu trennen.

Warum zwei Modelle gleicher Größe unterschiedliche Maschinen benötigen können

Die Attention-Spalte sieht nach Trivia aus, ist es aber nicht. Sie bestimmt, wie teuer Ihr Kontext ist, und bei langen Kontexten kann sie wichtiger sein als die Parameteranzahl. Hier sehen Sie, was der Sprung von 4K auf 128K bei den vier Attention-Designs in diesem Katalog bewirkt.

Phi-3.5 mini ist der Eintrag, der Ihr Kaufverhalten ändern sollte. Es ist ein 3.8B-Modell, von dem man annimmt, dass es überall läuft, aber bei seinem vollen beworbenen 128K-Kontext benötigt es etwa 55 GB, da es 32 vollständige Key-Value-Heads pro Layer zwischenspeichert. Ein 671B DeepSeek R1 hingegen benötigt beim Sprung von 4K auf 128K nur neun Gigabyte zusätzlich, da Multi-Head Latent Attention Keys und Values in einen einzigen kleinen Vektor pro Token und Layer komprimiert. Nicht die Größe hat das Ergebnis bestimmt, sondern die Geometrie.

Die praktische Schlussfolgerung ist einfach. Wenn Ihre Workload aus kurzen Prompts besteht, ignorieren Sie die Attention-Spalte komplett und achten Sie auf die Gewichte. Wenn Ihre Workload lange Dokumente, ganze Repositories oder große Retrieval-Payloads umfasst, sortieren Sie zuerst nach dem Attention-Design: Sliding-Window-Modelle wie die Gemma 3-Familie und gpt-oss bleiben bei wachsendem Kontext nahezu konstant, Grouped-Query-Modelle wachsen in einem überschaubaren Rahmen, und Full-Multi-Head-Modelle werden irgendwo zwischen 32K und 128K unbezahlbar, egal wie klein sie auf dem Papier aussehen.

Was die Lizenzspalte wirklich bedeutet

Open Weights und Open Source sind nicht dasselbe, und in dieser Lücke verbergen sich die meisten rechtlichen Überraschungen. Jeder kann jedes Modell auf dieser Seite herunterladen. Was Sie dann damit tun dürfen, variiert von völlig uneingeschränkt bis hin zu explizit nicht-kommerziell. Dies sind die Lizenzfamilien in diesem Katalog und was jede einzelne von Ihnen verlangt.

Drei Details führen oft zu Missverständnissen. Erstens ist eine Lizenzfamilie innerhalb eines Labors nicht einheitlich: DeepSeek veröffentlicht R1 und V3 unter MIT, aber Coder V2 Lite unter eigenen Bedingungen. Alibaba liefert fast das gesamte Qwen-Portfolio unter Apache 2.0 aus, während für Qwen2.5 3B und Qwen2.5 72B zusätzliche Bedingungen gelten. Prüfen Sie den spezifischen Checkpoint, den Sie heruntergeladen haben, und nicht nur die Marke.

Zweitens enthalten einige dieser Lizenzen Bestimmungen zu den Modellausgaben, nicht nur zu den Weights, insbesondere dazu, ob Sie generierten Text zum Training eines anderen Modells verwenden dürfen. Wenn Ihr Plan die Erstellung synthetischer Trainingsdaten umfasst, ist diese Klausel für Sie wichtiger als alles, was die Bereitstellung betrifft.

Drittens gibt es Verpflichtungen, die auch nach dem Fine-Tuning bestehen bleiben. Die Nutzungsbeschränkungen von Gemma gelten für alles, was von den Weights abgeleitet ist. Die Namensvorgaben von Llama gelten für abgeleitete Modellnamen. Eine nicht-kommerzielle Lizenz bleibt auch nach dem Training mit eigenen Daten nicht-kommerziell, da die Basis-Weights weiterhin enthalten sind. Die Filterung auf Apache und MIT über das Kontrollkästchen oben ist der schnellste Weg, um diese Probleme zu vermeiden, und lässt Ihnen immer noch 39 Modelle. Dies stellt keine Rechtsberatung dar; die Lizenzspalte ist eine Kurzform für ein Dokument, das man einmal lesen sollte.

Wichtige Modellfamilien, gruppiert nach ihren Stärken

Hier sind vierzehn Labore vertreten, aber für gute Entscheidungen benötigen Sie nur einen Überblick über etwa sechs Modellreihen. Die VRAM-Angaben unten beziehen sich auf Q4_K_M bei einem 4K-Kontext, entsprechend dem Tabellenstandard.

Programmierung

Qwen2.5 Coder 32B mit 21,7 GB ist nach wie vor das leistungsfähigste Programmiermodell mit freizügiger Lizenz, das auf eine einzelne 24GB-Karte passt. Das 7B-Modell mit 5,5 GB ist die Standardwahl für Inline-Code-Vervollständigung, bei der Latenz wichtiger ist als Tiefe. Devstral Small 24B mit 15,7 GB ist auf agentische Bearbeitung über viele Dateien hinweg optimiert, statt nur eine Funktion auszufüllen. DeepSeek Coder V2 Lite ist die Geschwindigkeitsoption und aktiviert 2,4B von 15,7B Parametern. Codestral 22B ist gut, hat aber eine Lizenz, die den produktiven Einsatz untersagt, was es für die meisten kommerziellen Produkte ausschließt. Oberhalb der Workstation-Klasse sind DeepSeek V3 und Kimi K2 die ernsthaften Open-Coding-Modelle, die beide einen Server erfordern.

Reasoning

QwQ 32B mit 21,7 GB war das erste offene Modell, das ausführliche Überlegungen auf einer Consumer-Karte praktikabel machte. Die DeepSeek R1-Distillate bieten denselben Stil bei 7B, 14B, 32B und 70B unter MIT-Lizenz, was für diese Klasse ungewöhnlich großzügig ist. Die Qwen3 Dense-Reihe schaltet Überlegungen pro Anfrage ein oder aus, sodass ein Download beide Modi abdeckt. gpt-oss 20B und 120B sind auf Reasoning ausgelegt und unter Apache 2.0 lizenziert. Phi-4 14B mit 10,5 GB bietet eine überdurchschnittliche mathematische Leistung, ist aber auf einen 16K-Kontext begrenzt, was nach Standards von 2026 kurz ist.

Langer Kontext

Llama 4 Scout ist mit einem 10M-Token-Fenster der Ausreißer, Llama 4 Maverick bietet 1M. DeepSeek R1 und V3 akzeptieren 163840 Token, und der Großteil des modernen Katalogs liegt bei 131072. Wichtig ist, was nicht auf dieser Liste steht: die gesamte Gemma 2-Generation endet bei 8192 Token, Phi-4 bei 16384 und TinyLlama bei 2048. Wenn Sie lange Dokumente verarbeiten, prüfen Sie zuerst die Kontextspalte, denn keine Qualität kann ein Fenster ausgleichen, das Ihren Input nicht aufnehmen kann.

Vision

Sechs Modelle hier können Bilder lesen. Qwen2.5-VL 7B mit 5,9 GB ist das kleine Arbeitstier für Dokumente, Screenshots und Diagramme. Gemma 3 ist in den vision-fähigen Größen 4B, 12B und 27B erhältlich, alle unter den Gemma-Bedingungen; das 4B-Modell mit 3,5 GB ist bemerkenswert speichereffizient. Llama 4 Scout und Maverick sind nativ multimodal, benötigen aber leistungsstarke Hardware. Denken Sie daran, dass Bild-Token das gleiche Kontext-Budget wie Text verbrauchen; eine Vision-Workload verbraucht Ihr Fenster daher schneller, als die Seitenzahl vermuten lässt.

Mehrsprachigkeit und Retrieval

Mistral Nemo 12B mit 8,8 GB wurde mit einem Tokenizer entwickelt, der nicht-englische Texte besser behandelt als die Llama-Reihe, was sich in besserer Qualität und weniger Token pro Satz zeigt. GLM-4 9B ist stark in Chinesisch und Englisch. Für Retrieval-Augmented Generation mit Inline-Zitaten bleiben Command R und Command R+ die Referenzdesigns, mit der wichtigen Einschränkung, dass beide nicht-kommerziell sind und Command R volle Multi-Head-Attention verwendet, was bei den langen Kontexten, die bei Retrieval-Workloads entstehen, sehr kostspielig wird.

Edge und Embedded

Dreizehn Modelle tragen das Edge-Tag. Qwen2.5 0.5B benötigt etwa 1,0 GB, Qwen3 0.6B etwa 1,6 GB, TinyLlama 1.1B etwa 1,4 GB und SmolLM2 1.7B etwa 2,5 GB. Damit passen alle auf ein Smartphone, in einen Browser-Tab oder auf einen Raspberry Pi mit Beschleuniger. Phi-4 mini 3.8B mit 3,5 GB und Llama 3.2 3B mit 3,1 GB bilden die praktische Obergrenze für diese Kategorie und den Punkt, an dem das Befolgen von Anweisungen zuverlässig wird.

Wie man Benchmark-Behauptungen skeptisch liest

Jeder Release-Post enthält eine Tabelle, in der das neue Modell gewinnt. Das ist keine Unehrlichkeit, sondern Selektion: Die Tabelle wurde erstellt, nachdem die Ergebnisse bekannt waren, und jede Zeile, die das Modell nicht gut aussehen ließ, wurde stillschweigend weggelassen. Hier ist, was Sie prüfen sollten, bevor eine Benchmark-Zahl Ihre Entscheidung beeinflusst.

• Kontamination. Öffentliche Benchmarks gelangen mit der Zeit in Trainingskorpora; je älter der Benchmark, desto wahrscheinlicher wurde er auswendig gelernt. Ein sehr hoher Wert bei einem langjährigen Testset ist ein schwächerer Beleg als ein mittelmäßiger Wert bei etwas, das letzten Monat veröffentlicht wurde.
• Vergleichs-Snapshot. Geschlossene Modelle sind bewegliche Ziele. Die Behauptung, ein Frontier-Modell zu schlagen, bezieht sich meist auf eine spezifische Version aus einem bestimmten Monat, die möglicherweise schon überholt war, bevor der Post veröffentlicht wurde.
• Token-Budget. Reasoning-Modelle können vor der Antwort Tausende versteckter Token verbrauchen. Wenn ein Modell überlegen durfte und ein anderes nicht, misst der Vergleich ebenso sehr den Aufwand wie die Fähigkeit.
• Prompt-Format und Sampling. Dasselbe Modell kann auf demselben Benchmark um mehrere Punkte schwanken, abhängig von Chat-Template, System-Prompt, Temperature und der Art der Antwort-Analyse. Die berichteten Zahlen legen selten alle vier Faktoren offen.
• Aggregation. Ein einzelner Durchschnittswert verbirgt, welche Kategorien sich verändert haben. Ein Modell, das bei Mathematik gewinnt und bei Instruction-Following verliert, kann einen gleichbleibenden Durchschnitt zeigen, während es für Ihren Anwendungsfall deutlich schlechter ist.
• Pass-at-one vs. Best-of-many. Mehrfaches Sampling und die Auswahl der besten Antwort bläht Programmier-Scores erheblich auf und entspricht nicht der Art und Weise, wie Ihre Anwendung laufen wird.

Der Ersatz für all das ist unspektakulär, aber effektiv: Sammeln Sie dreißig bis fünfzig Beispiele Ihrer tatsächlichen Aufgabe, notieren Sie, wie eine gute Antwort aussieht, und bewerten Sie die Kandidaten selbst. Es dauert einen Nachmittag, übersteht jeden Modell-Release und beantwortet die einzige Frage, die zählt: Ist dieses Modell gut in Ihrem Job, statt nur in einer öffentlichen Prüfung?

Passen Sie das Modell an die Aufgabe an, nicht an das Leaderboard

Ein großer Teil der produktiven Arbeit mit Sprachmodellen benötigt kein großes Modell. Diese Aufgaben werden routinemäßig gut von Modellen im Bereich 3B bis 8B erledigt, wie Llama 3.2 3B mit 3,1 GB, Gemma 3 4B mit 3,5 GB, Qwen3 4B mit 3,7 GB oder Qwen2.5 7B mit 5,5 GB, die alle auf eine 8GB-Karte passen, inklusive Platz für Kontext.

• Klassifizierung und Routing: Entscheidung, in welche von sechs Warteschlangen ein Support-Ticket gehört oder ob eine Nachricht einen Menschen benötigt.
• Extraktion in ein festes Schema: Extrahieren von Daten, Beträgen, Namen und Identifikatoren aus einem semistrukturierten Dokument.
• Umformatierung: Notizen in eine Vorlage umwandeln, zwischen Markup-Formaten konvertieren, Adressen normalisieren.
• Kurze Zusammenfassung: Ein Absatz von einer Seite, bei dem die Quelle vorliegt und die Aufgabe Kompression statt Beurteilung ist.
• Tagging und Metadaten: Titel, Keywords, Sentiment, Spracherkennung, Content-Warnungen.
• Query-Rewriting für die Suche und Reranking einer Handvoll abgerufener Passagen, bevor sie ein größeres Modell erreichen.

Aufgaben, die Größe wirklich belohnen, sehen anders aus: Code-Änderungen über mehrere Dateien hinweg, bei denen das Modell eine Architektur im Kopf behalten muss; mehrdeutige Anweisungen, die das Ableiten von Absichten erfordern; Synthese über lange Dokumente hinweg, die sich widersprechen; Mathematik mit mehr als nur ein paar Schritten; und Agenten-Loops, bei denen sich ein früher Fehler über zwanzig Schritte hinweg summiert. Wenn Ihre Workload nicht auf dieser zweiten Liste steht, kaufen Sie mit dem Geld für ein größeres Modell Latenz statt Qualität.

Die stärkste Architektur in der Praxis ist meist gemischt: Ein kleines Modell erledigt das Routinevolumen und eskaliert bei Unsicherheit auf ein großes Modell. Die Eskalationsrate liegt typischerweise bei wenigen Prozent, was den Unterschied zwischen einer Workload, die auf eine Karte passt, und einer, die es nicht tut, ausmacht.

Lokal ausführen oder eine gehostete API aufrufen?

Jedes Modell auf dieser Seite kann heruntergeladen werden, und einige sind auch als gehostete Endpunkte verfügbar, unter anderem über dieses Gateway. Die Wahl ist weniger eine Frage der Ideologie als vielmehr der Ressource, an der es Ihnen mangelt.

Führen Sie lokal aus, wenn Daten das Haus nicht verlassen dürfen, wenn Sie fest definierte Weights benötigen, damit sich das Verhalten nicht unbemerkt ändert, wenn Sie offline oder bei unzuverlässiger Verbindung arbeiten, wenn Sie ein konstantes hohes Traffic-Aufkommen auf einer eigenen GPU haben oder wenn Sie Fine-Tuning planen. Lokale Inferenz bietet zudem Dinge, die keine API bereitstellt: Raw Logits, Constrained Decoding gegen eine Grammatik, benutzerdefiniertes Sampling und Speculative Decoding.

Nutzen Sie einen gehosteten Endpoint bei schwankendem Traffic, wenn das gewünschte Modell mehr Speicher benötigt, als Sie sinnvoll kaufen können, wenn Sie planen, alle paar Wochen das Modell zu wechseln, oder wenn niemand im Team einen Inference-Server betreiben möchte. Der Katalog verdeutlicht den Speicherbedarf: 44 dieser 63 Modelle passen auf eine 24GB-Karte, aber DeepSeek R1 mit 410 GB und Kimi K2 mit 611 GB erfordern Multi-Node-Deployments. Die Lücke zwischen diesen beiden Gruppen lässt sich nicht durch bloße Cleverness überbrücken.

Die Wirtschaftlichkeit wird meist durch die Auslastung bestimmt, nicht durch die Raten. Eine Karte mit einer Auslastung von zehn Prozent ist pro nützlichem Token teuer, egal wie günstig die Hardware war, da Sie für die gesamte Karte bezahlt haben. Eine Karte, die kontinuierlich läuft, ist preislich kaum zu schlagen. Schätzen Sie Ihren täglichen Token-Bedarf realistisch ein, bevor Sie Hardware kaufen. Für die meisten Nebenprojekte und internen Tools ist ein kostenloser oder günstiger gehosteter Endpoint die wirtschaftlichere Wahl.

Fragen, die Leute tatsächlich stellen

Wie wähle ich ein Open-Weight-Modell aus?

Priorisieren Sie Ihre Anforderungen. Legen Sie ein Speicherbudget in Gigabyte fest, nicht nach Parametern. Bestimmen Sie die benötigte Kontextlänge vor der Vorauswahl, filtern Sie nach Lizenz und erst danach nach Leistungsfähigkeit. Von den 63 Modellen hier passen 44 bei Q4_K_M und 4K-Kontext in 24 GB, aber nur 24 in 8 GB. Allein dieser Budget-Schritt halbiert meist die Liste. Testen Sie abschließend drei Kandidaten mit dreißig bis fünfzig Beispielen aus Ihrer eigenen Arbeit.

Was bedeuten aktive Parameter bei einem Mixture-of-Experts-Modell?

Die Gesamtanzahl der Parameter bestimmt den Speicherbedarf, da alle Gewichte geladen sein müssen. Die aktiven Parameter bestimmen die Geschwindigkeit, da bei der Generierung eines Tokens nur die Experten gelesen werden, durch die das Token geroutet wird. Qwen3 30B-A3B hat 30,5 Mrd. Parameter, aktiviert aber 3,3 Mrd. pro Token. Es belegt ca. 19,7 GB bei Q4_K_M, dekodiert aber etwa mit der Geschwindigkeit eines 3B-Modells.

Ist ein Mixture-of-Experts-Modell günstiger im Betrieb als ein dichtes Modell?

Günstiger bei Rechenleistung und Zeit, nicht beim Speicher. Wenn VRAM Ihr limitierender Faktor ist, ist ein MoE ineffizient, da Sie für jeden Experten bezahlen, aber nur einen Bruchteil nutzen. Wenn Sie genügend Speicher haben und Durchsatz benötigen, ist es exzellent. gpt-oss 120B benötigt ca. 72 GB bei Q4_K_M, liest aber nur 5,1 Mrd. Parameter pro Token.

Welche Open-Weight-Modelle kann ich ohne Genehmigung kommerziell nutzen?

Die mit Apache 2.0 und MIT lizenzierten. In diesem Katalog sind das 39 von 63 Modellen, darunter die gesamte Qwen3-Reihe, Qwen2.5 Coder, QwQ 32B, Mistral Small 24B, Devstral, die Mixtral-Modelle, gpt-oss 20B und 120B, DeepSeek R1 und V3, die R1-Distills, Phi-4 und GLM-4.5 Air. Die anderen 24 haben Bedingungen, die von Namensnennung bis hin zu einem vollständigen Verbot der kommerziellen Nutzung reichen.

Ist die Llama Community-Lizenz eine kommerzielle Lizenz?

Sie erlaubt die kommerzielle Nutzung, ist aber keine Open-Source-Lizenz. Sie begrenzt die kostenlose Nutzung auf 700 Millionen monatlich aktive Nutzer, erfordert die Kennzeichnung Built with Llama, verlangt den Namen Llama in abgeleiteten Modellnamen und enthält eine Richtlinie zur akzeptablen Nutzung. Für die meisten Teams ist das unproblematisch, aber es ist ein Vertrag, keine bloße Erlaubnis. Lesen Sie ihn, bevor Sie ein Produkt darauf aufbauen.

Kann ich Command R oder Command R+ in einem kommerziellen Produkt verwenden?

Nicht mit den veröffentlichten Gewichten. Beide Cohere-Modelle hier sind CC-BY-NC, also nur für nicht-kommerzielle Zwecke. Sie sind exzellente Modelle für Retrieval und Zitation und gut für Forschung oder Evaluierung geeignet, aber für den Einsatz in einem kostenpflichtigen oder umsatzgenerierenden Produkt ist eine separate Vereinbarung mit Cohere erforderlich.

Warum benötigt dasselbe Modell bei einem 128K-Kontext deutlich mehr VRAM?

Der KV-Cache wächst linear mit dem Kontext, und wie stark, hängt von der Attention-Geometrie ab. Command R 35B nutzt volle Multi-Head-Attention und steigt von 27,4 GB bei 4K auf 194,8 GB bei 128K. Qwen3 32B mit Grouped-Query-Attention steigt von 21,7 GB auf 55,2 GB. Gemma 3 27B, das bei fünf von sechs Layern Sliding Windows verwendet, steigt nur von 18,1 GB auf 28,6 GB.

Was ist das kleinste Open-Modell, das noch wirklich nützlich ist?

Für Klassifizierung, Routing, Extraktion in ein festes Schema und Umformatierung sind Modelle im Bereich 3B bis 4B bereits zuverlässig. Llama 3.2 3B benötigt ca. 3,1 GB bei Q4_K_M, Gemma 3 4B ca. 3,5 GB und Qwen3 4B ca. 3,7 GB. Alle drei laufen auf einer 8GB-Karte mit ausreichend Platz für einen echten Kontext. Unterhalb von ca. 2B schreiben die Modelle zwar noch flüssig, folgen aber mehrstufigen Anweisungen nicht mehr zuverlässig.

Brauche ich ein Reasoning-Modell?

Nur für Probleme mit einer überprüfbaren Schrittfolge: Mathematik, algorithmischer Code, Constraint-Rätsel, Multi-Hop-Analyse. Reasoning-Modelle verbrauchen vor der Antwort eine große Anzahl versteckter Token, was zu höherer Latenz und mehr generierten Token pro Anfrage führt. Für Extraktion, Zusammenfassung, Umschreiben und Chat ist ein Nicht-Reasoning-Modell gleicher Größe meist schneller und nicht schlechter.

Welches Open-Weight-Modell eignet sich am besten zum Programmieren?

Für eine einzelne 24GB-Karte ist Qwen2.5 Coder 32B mit ca. 21,7 GB die stärkste Option mit freizügiger Lizenz. Devstral Small 24B mit ca. 15,7 GB ist eher auf agentisches Multi-File-Editing als auf einzelne Vervollständigungen optimiert. Für schnelle Inline-Vervollständigung eignen sich Qwen2.5 Coder 7B oder DeepSeek Coder V2 Lite, das nur 2,4 Mrd. seiner 15,7 Mrd. Parameter aktiviert. Im High-End-Bereich sind DeepSeek V3 und Kimi K2 stärker, benötigen aber Hunderte von Gigabyte.

Bedeutet eine lange beworbene Kontextlänge, dass das Modell sie gut nutzt?

Nein. Die Kontextangabe ist die Länge, die die veröffentlichten Gewichte akzeptieren, nicht die Länge, bei der die Qualität stabil bleibt. Llama 4 Scout bewirbt 10M Token und die meisten modernen Modelle hier geben 128K an, aber die Retrieval-Genauigkeit nimmt meist deutlich vor dem angegebenen Maximum ab. Betrachten Sie die Zahl als absolute Obergrenze und messen Sie die tatsächliche Leistung bei der Länge, die Sie verwenden möchten.

Sollte ich der Benchmark-Tabelle in einem Modell-Release-Post vertrauen?

Betrachten Sie sie als Marketing mit echten Zahlen. Release-Tabellen werden im Nachhinein ausgewählt, Vergleichsmodelle sind oft ältere Snapshots, Prompt-Formate und Sampling-Einstellungen unterscheiden sich zwischen den Zeilen, und bekannte Benchmarks fließen mit der Zeit in die Trainingsdaten ein. Die Zahl, die Ihre Entscheidung bestimmen sollte, ist das Ergebnis bei dreißig bis fünfzig Beispielen Ihrer eigenen Arbeitslast.

Wie viel Qualität verliere ich durch Quantisierung auf 4-Bit?

Bei größeren Modellen weniger als erwartet, bei kleinen mehr. Q8_0 ist praktisch nicht von den Originalgewichten zu unterscheiden. Q4_K_M kostet bei Modellen ab ca. 13B nur wenig, meist unmerkliche Qualität, wird aber bei 1B- bis 3B-Modellen sichtbar, da dort weniger Redundanz vorhanden ist. Unter 4 Bit, bei Q3 und Q2, ist der Qualitätsverlust real. Beachten Sie, dass gpt-oss nativ in MXFP4 ausgeliefert wird; 4-Bit ist hier also die veröffentlichte Präzision und kein Kompressionsschritt.

Wann sollte ich ein Modell lokal ausführen, anstatt eine gehostete API aufzurufen?

Führen Sie Modelle lokal aus, wenn Daten Ihren Rechner nicht verlassen dürfen, wenn Sie feste Gewichte benötigen, damit sich das Verhalten nicht ändert, wenn Sie offline sind oder wenn Sie ein konstantes hohes Volumen auf einer eigenen GPU haben. Nutzen Sie eine gehostete API bei schwankendem Traffic, wenn das gewünschte Modell mehr Speicher benötigt, als Sie haben, oder wenn Sie häufig zwischen Modellen wechseln möchten. Eine 24GB-Karte, die die meiste Zeit ungenutzt bleibt, ist pro nützlichem Token teurer als jede API.