Was ist RAG (Retrieval Augmented Generation)?

RAG (Retrieval Augmented Generation) ist ein Verfahren, bei dem eine KI vor jeder Antwort in der Wissensbasis eines Unternehmens nach passenden Stellen sucht und ihre Antwort auf diese Fundstellen stützt. Das Sprachmodell formuliert also nicht aus dem Gedächtnis, sondern aus Ihren Dokumenten – und kann die Quelle nennen.

Einfach erklärt: RAG gibt der KI ein Nachschlagewerk in die Hand, bevor sie antwortet. Dieser Artikel zeigt, wie das technisch abläuft, wofür es sich eignet und wo die Grenzen liegen.

Was RAG bedeutet

Der englische Name beschreibt die drei Teile des Verfahrens:

• Retrieval – Abrufen: Passende Textstellen werden aus einer Sammlung gesucht.
• Augmented – angereichert: Diese Stellen werden der Anfrage beigefügt.
• Generation – Erzeugung: Das Sprachmodell schreibt die Antwort auf Grundlage der beigefügten Stellen.

Der Gedanke dahinter: Ein Sprachmodell kennt aus dem Training viel Allgemeinwissen, aber weder Ihre aktuelle Preisliste noch Ihre Garantiebedingungen oder die Wartungshistorie einer Anlage. RAG schließt diese Lücke, ohne das Modell selbst zu verändern.

So funktioniert RAG in vier Schritten

1. Wissen aufbereiten. Dokumente wie Handbücher, Preislisten, FAQ, Verträge oder frühere Antworten werden in kurze Abschnitte zerlegt. Jeder Abschnitt bekommt eine mathematische Darstellung seiner Bedeutung und landet in einer Suchdatenbank, meist einer Vektordatenbank.
2. Suchen. Stellt jemand eine Frage, sucht das System die Abschnitte, die inhaltlich am besten passen – auch wenn andere Wörter verwendet werden. „Wie lange hält die Garantie?“ findet so auch den Absatz über „Gewährleistungsfrist“.
3. Anreichern. Die gefundenen Abschnitte werden zusammen mit der Frage und einer Anweisung an das Modell übergeben, etwa: „Antworte nur auf Grundlage dieser Quellen und nenne sie.“
4. Antworten. Das Modell formuliert die Antwort und verweist auf die Dokumente, aus denen sie stammt. Findet es nichts Passendes, sagt es das – sofern es so angewiesen ist.

Weil die Wissensbasis getrennt vom Modell liegt, reicht es, ein Dokument zu aktualisieren. Die nächste Antwort berücksichtigt die neue Fassung sofort.

RAG, Fine-Tuning oder langer Kontext?

Es gibt drei Wege, einem Sprachmodell Firmenwissen mitzugeben. Sie lösen unterschiedliche Probleme:

Für die typische Frage „Die KI soll mit unserem Wissen antworten“ ist RAG meist der richtige Einstieg. Fine-Tuning lohnt sich eher, wenn es um das Wie der Antwort geht, nicht um das Was.

Welche Daten sich eignen

RAG ist nur so gut wie die Dokumente dahinter. Wer eine Wissensbasis anlegt, stößt schnell auf dieselben Fragen wie bei jedem guten Content: Ist die Information aktuell, eindeutig und an einer Stelle gepflegt?

• Gut geeignet: Produktdaten, Preislisten, Leistungsbeschreibungen, Handbücher, interne Richtlinien, geprüfte Musterantworten.
• Mit Aufwand: eingescannte Unterlagen ohne Texterkennung (OCR), Tabellen mit verbundenen Zellen, E-Mail-Verläufe mit widersprüchlichen Aussagen.
• Nicht ohne Regeln: personenbezogene Daten und vertrauliche Verträge. Hier legen Sie fest, wer über die KI was sehen darf.

Ein häufiger Stolperstein: drei Versionen derselben Preisliste im Ordner. Die KI findet dann alle drei und muss raten. Aufräumen vor dem Start spart später Korrekturen.

Beispiele aus dem Mittelstand

• Kundenservice: Anfragen zu Lieferzeiten, Garantie oder Pflege werden mit einem Entwurf beantwortet, der die Stelle im Handbuch zitiert. Die Mitarbeiterin prüft und sendet. Wie das im Service-Alltag aussieht, zeigt der Beitrag KI im Kundenservice.
• Vertrieb: Der Außendienst fragt, welche Ausführung für einen bestimmten Einsatz zugelassen ist, und bekommt die Antwort mit Verweis auf das Datenblatt.
• Einarbeitung: Neue Mitarbeitende fragen nach Abläufen und Zuständigkeiten, statt Kollegen zu unterbrechen oder im Laufwerk zu suchen.
• Dokumentenprüfung: Eingehende Unterlagen werden gegen interne Vorgaben gehalten, Abweichungen markiert.

Grenzen von RAG

RAG senkt das Risiko erfundener Antworten deutlich, schließt es aber nicht aus. Findet die Suche die falsche Stelle, antwortet das Modell überzeugend auf Basis der falschen Stelle. Deshalb gehören zu jedem RAG-System Tests mit echten Fragen, eine Quellenangabe in jeder Antwort und bei Antworten nach außen eine Freigabe durch Menschen. Warum Sprachmodelle überhaupt halluzinieren und wie RAG dagegen hilft, beschreibt ausführlich der Beitrag KI-Halluzinationen und RAG.

In der Praxis: Firmenwissen, auf das sich die KI stützt

Bei der KI-Einführung bauen wir die Wissensbasis aus Ihren vorhandenen Unterlagen auf, testen die Antworten mit Ihrem Team und betreiben das System auf Servern in Deutschland. Liegen Ihre Informationen in PDFs, Scans oder Formularen, bereiten wir sie mit unserer Leistung Dokumente und Daten so auf, dass die KI sie zuverlässig findet. Das Ergebnis: Antworten mit Quelle, die Ihr Team prüfen kann, statt Antworten aus dem Nichts.

Häufige Fragen

Was ist RAG einfach erklärt?

Die KI schlägt in Ihren Dokumenten nach, bevor sie antwortet. Sie bekommt zu jeder Frage die passenden Textstellen und formuliert daraus die Antwort, idealerweise mit Quellenangabe.

Muss die KI dafür mit unseren Daten trainiert werden?

Nein. Das Sprachmodell bleibt unverändert. Ihre Daten liegen in einer eigenen Wissensbasis und werden nur bei der jeweiligen Anfrage herangezogen. Änderungen wirken sofort, ohne neues Training.

Ist RAG datenschutzkonform möglich?

Ja, wenn Wissensbasis und Verarbeitung auf Servern in der EU laufen, ein Auftragsverarbeitungsvertrag besteht und Zugriffsrechte festlegen, wer welche Dokumente über die KI abfragen darf.