Wenn ein Unternehmen möchte, dass die KI seine Dokumente "kennt" — Verträge, interne Abläufe, technische Kataloge —, kommt fast immer die Frage, ob sich ein Fine-Tuning des Modells lohnt. In den meisten Fällen lautet die Antwort Nein, und der Grund liegt darin, was diese beiden Techniken tatsächlich lösen.
Was RAG macht
RAG (Retrieval-Augmented Generation) ruft zum Zeitpunkt der Anfrage die relevanten Passagen aus Ihren Dokumenten ab und stellt sie dem Modell als Kontext für die Antwort zur Verfügung. Das Modell "lernt" Ihre Dokumente nicht: Es liest sie jedes Mal in Echtzeit aus einem Index, den Sie einfach durch Hinzufügen oder Ändern von Dateien aktualisieren.
Was Fine-Tuning macht
Fine-Tuning verändert die Gewichte des Modells, indem es anhand spezifischer Beispiele trainiert wird, um Stil, Antwortformat oder ein grundlegendes Verhalten zu ändern. Es ist kein guter Mechanismus, um faktisches Wissen einzubringen, das sich im Laufe der Zeit ändert: Wird ein Vertrag aktualisiert, weiss ein fine-getuntes Modell davon nichts, bis es neu trainiert wird.
Der Rahmen, den wir mit Kunden verwenden
- Ändern sich die Inhalte häufig (Abläufe, Kataloge, Vorschriften)? RAG ist fast immer die richtige Wahl.
- Ist ein bestimmter, über die Zeit stabiler Ton, ein Format oder ein Verhalten gefragt? Fine-Tuning ist sinnvoll, oft in Kombination mit RAG.
- Ist Nachvollziehbarkeit gefragt — zu wissen, aus welchem Dokument eine Antwort stammt? Nur RAG bietet dies auf natürliche Weise, indem es die abgerufenen Quellen zitiert.
- Ist das Wissensvolumen enorm und hochspezialisiert? Dann lohnt sich ein Hybridansatz, mit RAG für die Fakten und einem für die Domäne gewählten Basismodell.
Warum es sich lohnt, mit RAG zu beginnen
RAG ist im Unterhalt günstiger, lässt sich in einem Audit leichter erklären — weil Sie genau zeigen können, welches Dokument eine Antwort erzeugt hat — und passt sich einer intern gehosteten Open-Weight-Infrastruktur an, ohne dass bei jeder Dokumentänderung neu trainiert werden muss. Für die meisten Unternehmens-Anwendungsfälle, denen wir begegnen, ist es der solidere Ausgangspunkt, wobei Fine-Tuning den Fällen vorbehalten bleibt, in denen es wirklich gebraucht wird.