Die üblichen Ranglisten sortieren nach Benchmark. Für jeden, der ein Modell selbst betreiben will, ist das die falsche Sortierung. Nützlicher ist eine andere Frage: Was passt auf welche Hardware?
Wer sich heute nach offenen Modellen umsieht, findet vor allem Bestenlisten. Die sind nicht falsch, aber sie beantworten eine Frage, die sich in der Praxis selten stellt. Denn zwischen „offene Gewichte verfügbar“ und „wirtschaftlich selbst betreibbar“ liegen bei den größten Modellen Welten. Nützlicher ist deshalb eine andere Sortierung: Was passt auf welche Hardware?
Open Source im klassischen Sinn ist davon allerdings nicht alles. Viele der heute verfügbaren Modelle sind Open-Weight-Modelle: Die Gewichte werden veröffentlicht, oft zusammen mit Inferenzcode und Dokumentation, aber nicht zwingend mit vollständigen Trainingsdaten und Trainingscode. Man kann die Modelle herunterladen, betreiben und je nach Lizenz anpassen. Einige Projekte gehen deutlich weiter. NVIDIA veröffentlicht bei Nemotron 3 Nano neben den Gewichten auch große Teile der Trainingsdaten und Trainingsrezepte. Swiss AI veröffentlicht bei Apertus ebenfalls Trainingsinfrastruktur und Skripte zur Rekonstruktion der Trainingsdaten. Die Lizenzen reichen von Apache 2.0 über MIT-Varianten bis zu eigenen Modelllizenzen.
Was bedeuten die Zahlen?
Für die Hardwareplanung sind deshalb drei Größen entscheidend: die Gesamtzahl der Parameter, die Präzision der Gewichte und der Speicherbedarf des KV-Caches. Bei einem MoE-Modell bestimmen die Gesamtparameter grob die Menge der zu speichernden Gewichte, während die aktiven Parameter den Rechenaufwand pro Token beeinflussen. Wie schnell ein Modell tatsächlich läuft, hängt zusätzlich von Speicherbandbreite, Attention-Architektur, Kontextlänge, Batchgröße und der Verbindung zwischen den GPUs ab.
Deshalb ist Mistral Small 4 trotz seines Namens kein kleines Modell. Es aktiviert 6,5 Milliarden Parameter, hat insgesamt aber 119 Milliarden. In geeigneter 4-Bit-Quantisierung kann es in die 60-GB-Klasse kommen; in FP8 sind es rund 119 GB, in BF16 etwa 238 GB. Es ist beim Rechenaufwand vergleichsweise sparsam, beim Speicherbedarf aber ein großes Modell.
Klasse A: Eine einzelne Grafikkarte im Rechner
Hier betrachten wir eine einzelne GPU mit etwa 24 bis 32 GB VRAM – also eine Klasse, wie sie auch in leistungsfähigen Workstations und Spielerechnern steckt.
Qwen3.8-27B von Alibaba ist ein naheliegendes Arbeitstier: 27 Milliarden Parameter, dicht aufgebaut, und unter Apache 2.0 veröffentlicht. Es ist ein Beispiel dafür, dass nicht jedes aktuelle Modell auf MoE setzt.
Gemma 4 26B A4B steht daneben. Das Modell hat rund 25,2 Milliarden Parameter, davon 3,8 Milliarden aktiv, und nutzt 128 Experten. Die Lizenz ist Apache 2.0. Mit geeigneter Quantisierung lässt sich das Modell auf einer einzelnen 24- bis 32-GB-GPU betreiben.
Nemotron 3 Nano ist der interessante Außenseiter: 31,6 Milliarden Parameter, rund 3,6 Milliarden aktiv. NVIDIA veröffentlicht neben den Gewichten auch große Teile der Trainingsdaten und Rezepte. Das Modell steht allerdings nicht unter Apache 2.0, sondern unter der NVIDIA Open Model License.
Technisch nachgerechnet: Klasse A
Klasse B: Eine Karte aus dem Rechenzentrum
Mit 80 bis 96 Gigabyte VRAM öffnet sich das Feld deutlich. Hier liegen Modelle, die mit geeigneter Quantisierung auf einer einzelnen Datacenter-GPU betrieben werden können.
gpt-oss-120b ist ein prominentes Beispiel. Das Modell hat 117 Milliarden Gesamtparameter und rund 5,1 Milliarden aktive Parameter. Die von OpenAI veröffentlichte MXFP4-Version benötigt ungefähr 60 GB VRAM und kann damit auf einer einzelnen H100 mit 80 GB betrieben werden.
Mistral Small 4 gehört ebenfalls in diese Größenordnung, wenn eine geeignete Quantisierung verwendet wird. Die offizielle Dokumentation nennt 119 Milliarden Gesamtparameter und 6,5 Milliarden aktive Parameter. Eine NVFP4-Version liegt bei ungefähr 60 GB und kann auf einer einzelnen geeigneten Blackwell-GPU betrieben werden; die FP8-Version benötigt dagegen etwa 119 GB.
Nemotron 3 Super liegt mit 120 Milliarden Gesamtparametern und 12 Milliarden aktiven Parametern ebenfalls in dieser Größenordnung. Für die konkrete Hardware hängt viel von der verwendeten Präzision ab: NVIDIA stellt unter anderem NVFP4- und FP8-Varianten bereit. Eine NVFP4-Version kann in entsprechenden Setups auf einer einzelnen 80-GB-GPU betrieben werden, während die offiziellen Deployment-Rezepte für andere Konfigurationen zwei oder mehr GPUs vorsehen.
Llama 4 Scout von Meta hat 109 Milliarden Parameter, davon 17 Milliarden aktiv, und ein Kontextfenster von bis zu 10 Millionen Tokens. Die Lizenz ist keine Apache- oder MIT-Lizenz, sondern die Llama 4 Community License. Sie erlaubt Nutzung, Veränderung und Verbreitung unter bestimmten Bedingungen. Für Produkte oder Services mit mehr als 700 Millionen monatlich aktiven Nutzern gelten zusätzliche Lizenzbedingungen. Wer Llama-Ausgaben zum Training oder zur Verbesserung eines anderen KI-Modells verwendet, muss bei einem weiterveröffentlichten Modell außerdem bestimmte Namens- und Kennzeichnungsvorgaben beachten.
Apertus 1.5 70B aus der Schweiz, entwickelt unter Beteiligung von ETH Zürich und EPFL, spielt eine andere Rolle. Das Modell steht unter Apache 2.0. Swiss AI veröffentlicht außerdem Trainingscode, Evaluationsskripte und Skripte zur Rekonstruktion der Pre-Training-Daten. Damit ist Apertus eines der Projekte, bei denen nicht nur die Gewichte, sondern auch wesentliche Teile des Entstehungsprozesses offengelegt werden.
Technisch nachgerechnet: Klasse B
Klasse C: Ein Server mit mehreren Karten
Ab hier braucht es einen richtigen Aufbau mit mehreren GPUs. Je nach Modell und Quantisierung reichen zwei Karten; bei den größten Modellen werden acht oder mehr Datacenter-GPUs üblich.
Die Spanne reicht von Inkling-Small mit 276 Milliarden Parametern über Llama 4 Maverick mit 400 Milliarden und Nemotron 3 Ultra mit 550 Milliarden bis zu DeepSeek V4.1 Flash mit 552 Milliarden und Mistral Large 3 mit 675 Milliarden. Auch GLM-5.3 liegt mit rund 753 Milliarden Parametern in dieser Größenklasse.
Bei Mistral Large 3 sind 675 Milliarden Gesamtparameter und rund 41 Milliarden aktive Parameter dokumentiert. Eine offizielle NVFP4-Version ist für einen einzelnen Server mit mehreren GPUs ausgelegt; Mistral nennt für NVFP4 eine Deployment-Möglichkeit auf einem Knoten mit H100- oder A100-GPUs, für FP8 auf einem Knoten mit H200 oder B200.
GLM-5.3 hat rund 753 Milliarden Parameter. Der veröffentlichte Checkpoint liegt bei rund 756 GB und wird in FP8 ausgeliefert. Das ist kein Modell für eine einzelne 80-GB-Karte, sondern für eine Multi-GPU-Infrastruktur.
GLM-5.3 verwendet eine eigene Lizenz. Sie ist nicht MIT, enthält aber weitreichende Rechte zum Nutzen, Kopieren, Modifizieren, Verteilen und Betreiben des Modells. Wer das Modell einsetzen will, sollte deshalb die konkrete Lizenz und nicht nur das Etikett „open“ prüfen.
DeepSeek V4.1 Flash hat rund 552 Milliarden Gesamtparameter. Die Architektur ist dabei nicht einfach mit klassischen MoE-Modellen gleichzusetzen: DeepSeek nennt unterschiedliche Aktivierungswerte für Eingabe und Ausgabe. Genau deshalb sollte man bei solchen Modellen nicht allein anhand der Parameterzahl auf die tatsächliche Rechenleistung schließen.
Technisch nachgerechnet: Klasse C
Klasse D: Offen, aber für normale Unternehmen außer Reichweite
An der Spitze stehen Modelle, deren Gewichte verfügbar sind, deren Betrieb aber eine Infrastruktur voraussetzt, die weit über eine normale Unternehmens-GPU hinausgeht.
Kimi K3 von Moonshot AI hat 2,8 Billionen Parameter, davon 104 Milliarden aktiv, und ein Kontextfenster von bis zu einer Million Tokens. DeepSeek V4 Pro liegt bei rund 1,6 Billionen Parametern. Bei solchen Modellen ist Self-Hosting technisch möglich, aber nur mit entsprechend großer Multi-GPU- oder Cluster-Infrastruktur.
Diese Modelle sind also nicht „nicht betreibbar“. Sie sind nur nicht mit der Hardwareklasse betreibbar, die für die meisten Unternehmen wirtschaftlich oder organisatorisch realistisch ist.
Technisch nachgerechnet: Klasse D
Zwei Beobachtungen zum Feld
Die erste betrifft Meta. Das Unternehmen hat offene Gewichte mit Llama stark popularisiert. Bei Llama 4 zeigt sich inzwischen aber ein gemischtes Bild: Scout und Maverick wurden als offene Gewichte veröffentlicht, das ursprünglich angekündigte Behemoth dagegen nicht. Gleichzeitig kommen neue Meta-Modelle auch über Produkt- und API-Angebote auf den Markt, ohne dass daraus automatisch eine Veröffentlichung der Gewichte folgt. Wer heute auf offene Modelle setzt, sollte deshalb nicht nur das aktuelle Modell, sondern auch die Veröffentlichungsstrategie des Anbieters beobachten.
Die zweite betrifft Europa. Mistral ist derzeit einer der sichtbarsten europäischen Anbieter für große Open-Weight-Modelle. Die aktuelle Palette reicht von kleinen Edge-Modellen bis zu Mistral Large 3. Ein großer Teil der offenen Modellpalette steht unter Apache 2.0, Mistral Medium 3.5 beispielsweise aber unter einer modifizierten MIT-Lizenz.
Daneben gibt es Forschungs- und Open-Science-Projekte wie Apertus, Teuken-7B aus dem Projekt OpenGPT-X und EuroLLM. Sie verfolgen teilweise andere Ziele als maximale Benchmarkwerte: Transparenz bei Trainingsdaten, europäische Sprachen, nachvollziehbare Trainingsprozesse und Forschungsfreiheit stehen stärker im Vordergrund. Apertus geht hier besonders weit und veröffentlicht neben den Modellen auch Trainingsinfrastruktur und Daten-Rekonstruktionsskripte.
Und eine praktische Konsequenz: Bindet euch nicht an ein Modell, sondern an eine Schnittstelle. Wer seine Anwendungen gegen einen standardisierten Endpunkt baut und eine Vermittlungsschicht davorsetzt, kann das Modell austauschen, ohne die gesamte Anwendung neu zu bauen. In einem Feld, in dem sich Modelle, Quantisierungen und Hardwareanforderungen laufend verändern, ist diese Entkopplung die eigentliche Absicherung.
