RAG statt Fine-Tuning: So kommt Firmenwissen in den KI-Chatbot

Für die meisten Unternehmen ist Retrieval-Augmented Generation (RAG) der bessere Weg, eigenes Wissen in einen KI-Chatbot zu bringen: Das Modell sucht bei jeder Frage in Ihren aktuellen Dokumenten und antwortet mit Quellenangabe. Fine-Tuning verändert dagegen das Modell selbst und eignet sich vor allem für Stil, Format und eng begrenzte Aufgaben, nicht für Fakten, die sich laufend ändern.

Ich entwickle RAG-Systeme für Unternehmen, unter anderem einen produktiven Chatbot mit Next.js und FastAPI für einen Kunden über Upwork. In fast jedem Erstgespräch kommt die Frage, ob man das Modell nicht einfach mit den eigenen Daten trainieren könne. Die Idee ist naheliegend, führt aber meistens in die falsche Richtung.

Was RAG und Fine-Tuning eigentlich tun

Bei RAG bleibt das Sprachmodell unverändert. Ihre Dokumente werden in Abschnitte zerlegt und in einem Suchindex abgelegt, meist einer Vektordatenbank, oft ergänzt um klassische Stichwortsuche. Stellt jemand eine Frage, sucht das System die passenden Abschnitte heraus und gibt sie dem Modell zusammen mit der Frage. Das Modell formuliert die Antwort auf Grundlage dieser Texte.

Beim Fine-Tuning wird ein bestehendes Modell mit zusätzlichen Beispielen weitertrainiert. Es lernt dabei Muster: wie Antworten aufgebaut sind, welcher Ton passt, wie bestimmte Eingaben einzuordnen sind. Ein zuverlässiges Nachschlagewerk für Ihre Fakten wird es dadurch aber nicht.

Warum RAG für Unternehmenswissen meist besser passt

• Aktualität: Ändert sich eine Richtlinie oder ein Preisblatt, aktualisieren Sie das Dokument im Index. Beim Fine-Tuning müssten Sie neu trainieren
• Quellenangaben: RAG kann zu jeder Antwort zeigen, aus welchem Dokument sie stammt. Nutzer können nachprüfen, und Fachabteilungen fassen schneller Vertrauen
• Zugriffsrechte: Bei RAG filtert die Suche nach den Rechten des Nutzers. Wissen, das in Modellgewichten steckt, lässt sich nicht mehr pro Person freigeben oder sperren
• Kosten: Für den Einstieg brauchen Sie keine Trainingsläufe und keine aufbereiteten Trainingsdatensätze, sondern vor allem eine gute Dokumentenaufbereitung
• Fehler korrigieren: Liefert der Chatbot eine falsche Antwort, finden Sie die Ursache meist in einem veralteten oder missverständlichen Dokument. Sie korrigieren die Quelle, und die Antwort stimmt beim nächsten Mal
• Modellwechsel: Erscheint ein besseres Modell, tauschen Sie es aus. Ihr Index bleibt, ein Fine-Tuning müssten Sie wiederholen
• Datenschutz: Personenbezogene Daten lassen sich aus einem Index gezielt löschen. Aus einem trainierten Modell lassen sie sich nicht einfach wieder entfernen

Dazu kommt ein grundsätzlicher Punkt: Ein feinabgestimmtes Modell kann Fakten aus dem Training zwar wiedergeben, aber auch überzeugend falsch kombinieren. Bei RAG lässt sich dagegen prüfen, ob die Antwort durch die gefundenen Texte gedeckt ist. In der Plattform JARVIS RCSA, an der ich für Banken mitgearbeitet habe, gibt es deshalb eigene Prüfschritte, die KI-Ergebnisse gegen Vorgaben abgleichen, bevor sie exportiert werden. Diese Art der Kontrolle ist nur möglich, wenn nachvollziehbar ist, worauf eine Antwort beruht.

Wann Fine-Tuning trotzdem sinnvoll ist

Fine-Tuning hat seine Berechtigung, nur eben für andere Aufgaben. Es lohnt sich vor allem in diesen Fällen:

• Stil und Tonalität: Antworten sollen konsequent in der Sprache Ihrer Marke formuliert sein, und ausführliche Anweisungen im Prompt reichen dafür nicht aus
• Feste Ausgabeformate: Das Modell soll zuverlässig eine bestimmte Struktur erzeugen, etwa ein festes Berichtsschema
• Eng begrenzte Klassifikation: Zum Beispiel das Zuordnen eingehender Tickets oder E-Mails zu einer überschaubaren Zahl von Kategorien, wofür Sie viele gelabelte Beispiele haben
• Kleinere Modelle für hohe Volumen: Wenn eine einfache Aufgabe sehr oft ausgeführt wird, kann ein kleineres, feinabgestimmtes Modell günstiger und schneller sein

Beide Ansätze schließen sich nicht aus. Ein Chatbot kann sein Wissen per RAG beziehen und ein feinabgestimmtes Modell für Stil oder Format nutzen. In der Praxis empfehle ich trotzdem, mit RAG und guten Prompts zu beginnen und Fine-Tuning erst dann zu prüfen, wenn ein konkretes Problem übrig bleibt, das sich anders nicht lösen lässt. Oft zeigt sich, dass ein klarer Systemprompt mit einigen Beispielen bereits genügt.

Woran die Qualität eines RAG-Chatbots hängt

RAG ist kein Selbstläufer. Wenn ein RAG-Chatbot schlechte Antworten liefert, liegt das selten am Sprachmodell, sondern fast immer an der Suche davor. Findet das System nicht die richtigen Textabschnitte, kann auch das beste Modell keine gute Antwort formulieren. Die meiste Arbeit steckt deshalb in diesen Punkten:

• Dokumentenaufbereitung: Tabellen, gescannte PDFs und verschachtelte Word-Dateien müssen sauber in Text überführt werden, sonst gehen wichtige Informationen verloren
• Sinnvolle Abschnitte: Texte werden entlang ihrer Struktur zerlegt, also nach Kapiteln und Absätzen, und nicht stur nach Zeichenzahl
• Hybride Suche: Die Kombination aus semantischer Suche und Stichwortsuche findet auch Produktnummern, Paragrafen und Fachbegriffe zuverlässig
• Evaluation: Eine Sammlung echter Fragen mit erwarteten Antworten zeigt nach jeder Änderung, ob die Qualität besser oder schlechter geworden ist

Checkliste: RAG, Fine-Tuning oder beides?

1. Ändern sich die Inhalte regelmäßig, etwa Preise, Richtlinien oder Produktdaten? Dann RAG
2. Müssen Nutzer sehen, woher eine Antwort stammt? Dann RAG
3. Dürfen verschiedene Nutzergruppen unterschiedliche Inhalte sehen? Dann RAG mit Rechtefilter
4. Müssen einzelne Inhalte auf Anfrage gelöscht werden können? Dann RAG
5. Geht es vor allem um Ton, Format oder eine feste Ausgabestruktur, die sich per Prompt nicht stabil erreichen lässt? Dann Fine-Tuning prüfen
6. Haben Sie eine eng umrissene Klassifikationsaufgabe und ausreichend gelabelte Beispiele? Dann Fine-Tuning prüfen
7. Treffen Punkte aus beiden Gruppen zu? Dann mit RAG starten und Fine-Tuning gezielt ergänzen

Der sinnvolle erste Schritt

Bevor Sie in Training investieren, lohnt sich ein kleiner RAG-Prototyp mit einer Dokumentenquelle und einer Sammlung echter Fragen aus Ihrem Alltag. Daran sehen Sie schnell, wie gut Ihre Dokumente als Wissensbasis taugen und wo die eigentlichen Lücken liegen. Wenn Sie so ein Projekt planen, finden Sie mein Angebot unter KI-Chatbot-Entwicklung. Oder Sie schreiben mir kurz, um welche Dokumente es geht und welche Fragen der Chatbot beantworten soll.