Vor zwei Jahren hieß „eigenes Sprachmodell“ für die meisten Unternehmen: Rechenzentrum, Spezialisten, sechsstelliges Budget. Wer KI nutzen wollte, hat eine Schnittstelle in der Cloud gemietet und pro Anfrage bezahlt.
Das hat sich leise, aber gründlich verschoben. Die Modelle, die heute auf einer einzelnen Grafikkarte laufen, erledigen die meisten Aufgaben, die in einem Betrieb anfallen. Sie dürfen kommerziell genutzt werden, und eingerichtet sind sie an einem Nachmittag.
Was heute auf eine Grafikkarte passt
Drei Beispiele zeigen, wie weit das inzwischen geht:
- gpt-oss-20b von OpenAI kommt laut OpenAI bei gängigen Tests an o3-mini heran und läuft mit 16 GB Speicher, also auf einer guten Grafikkarte oder einem gut ausgestatteten Laptop. Der große Bruder gpt-oss-120b passt auf eine einzelne Rechenzentrums-Grafikkarte mit 80 GB.
- Gemma 4 von Google, erschienen im April, reicht bis 31 Milliarden Parameter, versteht Text, Bilder und Ton und über 140 Sprachen. Es ist die erste Gemma-Generation unter der freien Apache-2.0-Lizenz.
- Qwen 3.6-35B-A3B von Alibaba gilt in der Community gerade als Arbeitspferd für eine Grafikkarte mit 24 GB.
Alle drei stehen unter Apache 2.0. Sie dürfen sie herunterladen, im eigenen Haus betreiben, anpassen und kommerziell einsetzen, ohne Gebühren an den Hersteller.
Der Trick: groß gespeichert, klein gerechnet
Wie passt ein Modell mit 35 Milliarden Parametern auf eine Grafikkarte, die eigentlich für Computerspiele gebaut ist? Viele der neuen Modelle sind als „Mixture of Experts“ aufgebaut. Gespeichert ist das ganze Modell, für jedes Wort rechnet aber nur ein kleiner Teil davon. Bei Qwen 3.6-35B-A3B sind das rund 3 Milliarden Parameter, bei gpt-oss-20b etwa 3,6 Milliarden.
Man kann sich das vorstellen wie ein großes Unternehmen, in dem für jede Anfrage nur die zuständige Abteilung arbeitet. Das Wissen der ganzen Firma ist da, die Rechenarbeit bleibt klein. Dazu kommt, dass die Modelle für den lokalen Betrieb auf etwa 4 Bit pro Parameter verkleinert werden, mit kaum merkbarem Qualitätsverlust.
Was man dafür braucht
| Hardware | Was darauf läuft |
|---|---|
| Grafikkarte oder Mac mit 16 GB | gpt-oss-20b, Gemma 4 12B |
| Grafikkarte mit 24 bis 32 GB oder Mac mit 32 GB | Qwen 3.6-35B-A3B, Gemma 4 26B und 31B |
| Mac mit 64 GB und mehr oder Grafikkarte mit 80 GB | gpt-oss-120b |
Zum Ausprobieren reichen Programme wie Ollama oder LM Studio. Für den Dauerbetrieb auf einem Server, an dem mehrere Abläufe gleichzeitig hängen, nimmt man eine Serversoftware wie vLLM.
Wie gut sind sie?
Ehrlich gesagt: Die stärksten Cloud-Modelle sind weiter vorn. Laut dem Artificial Analysis Intelligence Index liegen die besten offenen Modelle im Oktober rund zwölf Punkte hinter den besten geschlossenen. Und die offenen Spitzenmodelle mit über einer Billion Parametern passen auf keine einzelne Grafikkarte.
Für viele Aufgaben im Betrieb spielt dieser Abstand aber keine Rolle. Ein Dokument lesen und die Felder herausziehen, eine E-Mail einer Abteilung zuordnen, einen Text zusammenfassen, einen Antwortentwurf schreiben: Das sind die Schritte, aus denen die meisten KI-Abläufe bestehen, und dafür reicht ein Modell, das unter dem Schreibtisch läuft.
Warum das interessant ist
Keine Kosten pro Anfrage. Ob das Modell am Tag 50 oder 5.000 Lieferscheine liest, macht nur beim Strom einen Unterschied. Gerade bei Aufgaben mit großer Menge rechnet sich das schnell.
Es bleibt, wie es ist. Ein Modell auf dem eigenen Rechner ändert sich nicht über Nacht, weil ein Anbieter eine neue Version ausrollt. Was im Test funktioniert hat, funktioniert auch nächsten Monat.
Es läuft dort, wo die Daten sind. Neben dem ERP-Server, im eigenen Netz, auch wenn die Internetverbindung mal ausfällt.
Am besten beides
Die stärkste Lösung ist oft eine Kombination. Die vielen einfachen Schritte erledigt das Modell im Haus, und nur die seltenen schwierigen Fragen gehen an ein großes Modell in der Cloud. Anthropic beschreibt genau dieses Muster als „Routing“: Eine Anfrage wird eingeordnet und an das Modell weitergegeben, das für sie am besten passt. Wie ein solcher Ablauf aufgebaut ist, habe ich in Der beste KI-Agent ist oft ein guter Ablauf beschrieben.
Selbst ausprobieren
Wenn in Ihrem Büro ein Rechner mit einer guten Grafikkarte steht, können Sie das heute Nachmittag testen. Installieren Sie Ollama, laden Sie gpt-oss-20b und kopieren Sie den Text von zehn echten Bestellungen hinein, mit der Bitte, Kunde, Artikel und Mengen herauszuziehen. Für eingescannte Belege nehmen Sie Gemma 4, das auch Bilder liest. Nach einer Stunde haben Sie ein eigenes Gefühl dafür, was so ein Modell kann.
Ob für Ihre Aufgaben ein Modell im Haus reicht oder ein Cloud-Modell besser passt, prüfe ich im KI-Potenzial-Check an Ihren eigenen Beispielen.
Quellen
- OpenAI: Introducing gpt-oss, 5. August 2025
- Google: Gemma 4: Byte for byte, the most capable open models, 2. April 2026
- agitracker.io: 10 Best Open Source LLMs in 2026, 15. Oktober 2026
- vdf.ai: Best Local LLM by VRAM, 6. Oktober 2026
- Anthropic: Building effective agents, 19. Dezember 2024