Was ist ein Small Language Model?

Ein Small Language Model (SLM) ist ein Sprachmodell mit deutlich weniger Parametern als die großen Modelle hinter ChatGPT oder Claude – meist im Bereich weniger Milliarden. Es braucht dadurch wenig Rechenleistung, läuft auf einem einzelnen Server oder sogar einem Laptop und eignet sich besonders für eng umrissene Aufgaben mit sensiblen Daten.

Lange galt beim Sprachmodell: größer ist besser. Inzwischen erreichen kompakte Modelle bei vielen Alltagsaufgaben eine Qualität, für die vor wenigen Jahren noch ein riesiges Modell nötig war. Für mittelständische Unternehmen ist das eine gute Nachricht, denn kleine Modelle lassen sich im eigenen Haus oder bei einem deutschen Hoster betreiben.

Was „klein“ bei Sprachmodellen heißt

Eine feste Grenze gibt es nicht. Als Faustregel gelten Modelle mit etwa einer bis rund zehn Milliarden Parametern als klein; große Modelle haben ein Vielfaches davon. Bekannte Familien sind zum Beispiel Phi von Microsoft, Gemma von Google sowie die kleineren Varianten von Llama, Mistral und Qwen. Viele davon stehen unter offenen Lizenzen und dürfen – je nach Lizenz – auch kommerziell eingesetzt werden.

Technisch sind SLMs meist ganz normale Transformer-Modelle, nur mit weniger Schichten und kleineren Vektoren. Sie verarbeiten Text genauso in Token und erzeugen Antworten auf dieselbe Weise.

Wie kleine Modelle so gut werden

• Bessere Trainingsdaten. Statt möglichst viel Text aus dem Netz werden sorgfältig ausgewählte, oft aufbereitete Daten verwendet.
• Destillation. Ein großes Modell dient als Lehrer; das kleine lernt, dessen Antworten nachzuahmen.
• Quantisierung. Die Zahlenwerte im Modell werden mit geringerer Genauigkeit gespeichert. Das Modell braucht weniger Speicher und läuft schneller, bei meist geringem Qualitätsverlust.
• Spezialisierung. Per Fine-Tuning wird ein kleines Modell auf eine Aufgabe zugeschnitten, etwa das Auslesen von Lieferscheinen oder das Einordnen von Serviceanfragen.

SLM und LLM im Vergleich

Die Wahl ist selten entweder–oder. Häufig übernimmt ein kleines Modell die vielen einfachen Schritte – sortieren, extrahieren, zusammenfassen – und nur schwierige Fälle gehen an ein großes LLM.

Wofür sich ein SLM im Betrieb eignet

• Posteingang sortieren: Eingehende E-Mails werden nach Anliegen, Dringlichkeit und Zuständigkeit eingeordnet.
• Daten aus Dokumenten ziehen: Bestellnummer, Menge und Liefertermin aus Bestellungen in wechselnden Formaten.
• Sensible Texte zusammenfassen: Personalunterlagen, Gesprächsnotizen oder Verträge, die das Haus nicht verlassen sollen.
• Offline-Einsatz: Techniker im Keller oder auf der Baustelle ohne Netz fragen ein Modell auf dem Tablet nach Handbuchstellen.
• Anonymisieren: Personenbezogene Daten werden erkannt und geschwärzt, bevor ein Text an einen externen Dienst geht.

Wo kleine Modelle an Grenzen stoßen

Ein kleines Modell hat weniger gespeichert. Bei Wissensfragen ohne angebundene Quellen liegt es häufiger daneben und neigt stärker zu Halluzinationen. Mehrstufiges Schlussfolgern, lange Texte mit vielen Querbezügen und anspruchsvolle Formulierungen gelingen großen Modellen besser. Auch die Sprachqualität im Deutschen schwankt zwischen den Modellfamilien deutlich – ein Test mit eigenen Texten ist Pflicht. Manche kleine Modelle haben außerdem ein deutlich kürzeres Kontextfenster als ihre großen Verwandten und eignen sich deshalb nicht für lange Verträge oder umfangreiche Handbücher am Stück.

Hinzu kommt der Betrieb: Wer ein Modell selbst betreibt, kümmert sich um Server, Updates, Überwachung und Zugriffsrechte. Das ist beherrschbar, aber es ist Arbeit.

So wählen Sie ein passendes Modell aus

1. Aufgabe eng fassen. „Bestellungen auslesen“ ist prüfbar, „unterstützt den Vertrieb“ nicht.
2. Testfälle sammeln. Fünfzig bis hundert echte Beispiele aus Ihrem Alltag, dazu jeweils das richtige Ergebnis.
3. Mehrere Modelle vergleichen. Zwei oder drei kleine Modelle und ein großes als Maßstab laufen gegen dieselben Testfälle.
4. Lizenz prüfen. Nicht jedes frei herunterladbare Modell darf ohne Einschränkungen kommerziell genutzt werden.
5. Betrieb mitdenken. Wer spielt Updates ein, wer bemerkt, wenn die Qualität nachlässt?

Erst wenn das kleine Modell bei Ihren Testfällen nah genug an das große herankommt, lohnt sich der eigene Betrieb.

In der Praxis: klein, wo es reicht

Bei der KI-Implementierung prüfen wir für jeden Arbeitsschritt, ob ein kleines Modell genügt. Oft lassen sich so Kosten senken und Daten im Haus halten, während nur ausgewählte Aufgaben an ein großes Modell gehen. Kleine Modelle betreiben wir auf eigenen Servern, die zu 100 % in Deutschland stehen. Den laufenden Betrieb, Updates und Überwachung übernimmt auf Wunsch unsere Leistung Betrieb und Wartung.

Häufige Fragen

Was ist ein SLM?

Die Abkürzung für Small Language Model, also ein kompaktes Sprachmodell, das mit wenig Rechenleistung auskommt und sich für klar abgegrenzte Aufgaben eignet.

Kann ein kleines Sprachmodell auf einem normalen PC laufen?

Viele ja, vor allem in quantisierter Form. Für den Einsatz im Team empfiehlt sich trotzdem ein Server mit Grafikkarte, damit mehrere Anfragen gleichzeitig schnell beantwortet werden.

Ist ein lokales Modell automatisch DSGVO-konform?

Es erleichtert die Einhaltung, weil keine Daten an Dritte gehen. Zugriffsrechte, Löschfristen und Dokumentation nach der DSGVO müssen Sie trotzdem regeln.

Sind kleine Modelle schlechter als ChatGPT?

Als Allrounder ja. Für eine einzelne, gut definierte Aufgabe – mit eigenen Beispielen angepasst – erreichen sie oft vergleichbare Ergebnisse zu einem Bruchteil der Kosten.