287 Firmen tauschten ihr LLM gegen kleine Modelle, Kosten -75 %

Ein Einzelhandelsunternehmen zahlte 32.000 US-Dollar pro Monat für seine KI-Infrastruktur. Nach einem einzigen Wechsel waren es 2.200 Dollar. Kein Jahresprojekt, kein Infrastruktur-Umbau: lediglich der Austausch eines großen Sprachmodells gegen eine spezialisierte Alternative mit sieben Milliarden Parametern.

Dieser Fall ist kein Ausreißer. In 287 dokumentierten Fallstudien berichten Unternehmen, die ihre universellen Large Language Models (LLMs) durch kleine Sprachmodelle (Small Language Models, SLMs) ersetzt haben, von Kostensenkungen zwischen 75 und 99 Prozent, bei gleichbleibender oder sogar besserer Leistung.

Die Zahlen hinter der stillen Migration

Gartner prognostiziert, dass Organisationen bis 2027 aufgabenspezifische kleine KI-Modelle in dreifacher Menge gegenüber universellen LLMs einsetzen werden. Angesichts der aktuellen Entwicklung wirkt selbst diese Prognose zurückhaltend.

Die Kostenstruktur spricht eine deutliche Sprache: Eine Million Konversationen über ein großes Sprachmodell zu verarbeiten kostet zwischen 14.000 und 70.000 Euro. Dieselbe Arbeitslast über ein selbst gehostetes SLM liegt bei 140 bis 750 Euro. Das ist keine marginale Verbesserung, sondern ein struktureller Zusammenbruch der KI-Betriebskosten.

Das Unternehmen Checkr hat ein Llama-3-8B-Modell feinabgestimmt, das GPT-4 übertraf und dabei 30-mal schneller lief bei fünffach niedrigeren Kosten. NVIDIAs eigenes feinabgestimmtes 8B-Modell schlug sowohl das hauseigene 70B- als auch das 340B-Modell bei Code-Review-Aufgaben. Ein Phi-3-Modell mit 3,8 Milliarden Parametern erreichte 96 Prozent Genauigkeit bei der Klassifikation von Finanznachrichten, während GPT-4o auf 80 Prozent kam.

Warum kleinere Modelle bei Fachaufgaben überlegen sind

Die Annahme, größere Modelle seien automatisch klügere Modelle, bricht zusammen, sobald man die Aufgabe eingrenzt. Eine wissenschaftliche Vergleichsstudie testete fünf SLMs gegen drei LLMs (Modelle, die 100- bis 300-mal größer waren) und fand einen durchschnittlichen Leistungsunterschied von lediglich zwei Prozent, statistisch nicht signifikant. Bei einzelnen Metriken wie Recall (Trefferquote) schnitten die kleineren Modelle sogar besser ab: 0,96 gegenüber 0,90.

Die Forscher kamen zu dem Schluss, dass die Eigenschaften des Datensatzes wichtiger sind als die Modellgröße. Praktisch bedeutet das: Ein 7B-Modell, das auf den tatsächlichen Unternehmensdaten trainiert wurde, versteht die eigene Domäne besser als ein Billionen-Parameter-Modell, das zwar das gesamte Internet gelesen hat, aber den konkreten Anwendungsfall nie gesehen hat.

Genau deshalb erzielen viele Unternehmen noch null Rendite aus ihrer KI, obwohl sie die teuersten Modelle einsetzen. Und nur sechs Prozent der Unternehmen profitieren tatsächlich von KI: Es sind jene, die das passend dimensionierte Modell für jede Aufgabe wählen.

Der hybride Ansatz, der tatsächlich funktioniert

Die Gewinnerstrategie besteht nicht darin, jedes LLM durch ein SLM zu ersetzen. Es geht darum, 80 Prozent der vorhersehbaren Anfragen an kleine, schnelle, günstige Modelle zu leiten und nur die komplexen 20 Prozent an größere Modelle weiterzugeben.

Ein Automobilhersteller hat Phi-3 für die Qualitätsprüfung feinabgestimmt und die Inspektionszeit um 87 Prozent reduziert (von 15 auf 2 Minuten) bei 94 Prozent Genauigkeit, was jährlich rund 1,2 Millionen Euro einspart. Ein Gesundheitsnetzwerk mit 50 Ärzten setzte Llama 3.2 lokal für die klinische Dokumentation ein, reduzierte die Dokumentationszeit um 67 Prozent und gewann umgerechnet etwa 3,5 Millionen Euro an Umsatzkapazität zurück.

Der Break-even-Punkt für Self-Hosting liegt niedriger als die meisten Teams vermuten: etwa 8.000 Konversationen pro Tag oder rund 470 Euro monatliche API-Kosten. Handelsübliche GPUs für etwa 1.900 Euro können Modelle mit 24 bis 32 Milliarden Parametern betreiben und amortisieren sich innerhalb von drei Monaten.

Was der Wettbewerb bereits verstanden hat

Der Anteil der On-Premise-KI-Inferenz stieg von 12 Prozent aller Deployments im Jahr 2023 auf 55 Prozent im Jahr 2025, ein 4,6-facher Anstieg. Dieser Wandel hat nicht nur mit Datenschutz zu tun (obwohl gerade im DACH-Raum die DSGVO-Konformität ein starkes Argument ist). Es geht um Unternehmen, die eigene KI-Lösungen bauen, die einen Bruchteil API-abhängiger Alternativen kosten.

Die Unternehmen, die überstürzt auf KI gesetzt haben, bereuen es inzwischen. Die erfolgreichen nutzen nicht das leistungsstärkste verfügbare Modell. Sie verwenden das kleinste Modell, das die Aufgabe erledigt, feinabgestimmt mit 200 bis 500 gelabelten Beispielen, betrieben auf eigener Hardware.

Ihre KI-Rechnung von 70.000 Euro im Monat ist kein Zeichen von Fortschrittlichkeit. Sie ist ein Zeichen dafür, dass niemand geprüft hat, ob ein 50-mal kleineres Modell dieselbe Arbeit leisten kann. Für 287 Unternehmen lautete die Antwort: Ja.

---

Weiterführende Artikel:

• Der Code ist schneller da, die Sicherheitslücke gleich mit
• Ihr SaaS zahlt noch pro Kopf. Die Arbeit tut es nicht mehr