SEO対策の東京SEOメーカー

Was ist RAG? Funktionsweise und Anwendung erklärt

RAG

Generative KI kann Texte erstellen, Inhalte zusammenfassen, Daten analysieren und Fragen in beeindruckender Geschwindigkeit beantworten. Allerdings gibt es eine grundlegende Einschränkung: Ein Large Language Model (LLM) weiß nicht automatisch, ob die generierten Informationen korrekt, aktuell oder für das spezifische Wissen Ihres Unternehmens relevant sind. Genau hier setzt RAG (Retrieval-Augmented Generation) an.

RAG ermöglicht es einem KI-System, relevante Informationen aus externen Quellen abzurufen und für die Erstellung einer Antwort zu nutzen. Dazu können beispielsweise Unternehmensdokumente, interne Wissensdatenbanken, Produktdokumentationen oder andere freigegebene Datenquellen gehören. Anstatt sich ausschließlich auf das Wissen zu stützen, das während des Trainings im Sprachmodell hinterlegt wurde, kann ein RAG-System gezielt Informationen abrufen, sobald eine Anfrage gestellt wird.

Das macht RAG besonders interessant für das Wissensmanagement in Unternehmen, den Kundenservice, die interne Suche, die automatisierte Dokumentenerstellung und weitere Anwendungsbereiche, in denen korrekte und aktuelle Informationen entscheidend sind.

In diesem Leitfaden erfahren Sie, was RAG ist, worin sich der Ansatz von einem herkömmlichen Large Language Model unterscheidet, wie es funktioniert und welche Einsatzmöglichkeiten Unternehmen haben. Außerdem zeigen wir, wie Sie mit der Implementierung beginnen können.

 

SEO相談

Was ist RAG?

RAG steht für Retrieval-Augmented Generation. Der Begriff lässt sich sinngemäß mit „generative KI mit Informationsabruf“ übersetzen.

Vereinfacht gesagt, verbindet RAG zwei Prozesse:

  1. Retrieval (Informationsabruf): Relevante Informationen zur Frage des Nutzers finden.
  2. Generation (Generierung): Diese Informationen dem Sprachmodell als Kontext bereitstellen, damit es daraus eine passende Antwort formulieren kann.

Bekannt wurde das Konzept durch Forschungsarbeiten zu Retrieval-Augmented Generation, bei denen ein vortrainiertes Sprachmodell mit dem Zugriff auf eine externe Wissensquelle kombiniert wurde:

Nutzerfrage → Relevante Informationen abrufen → Informationen in den KI-Kontext einbinden → Antwort generieren

Ein Beispiel: Stellen Sie sich vor, ein Mitarbeiter fragt einen KI-Assistenten:

„Welche Regelungen gelten in unserem Unternehmen für die Erstattung von Reisekosten bei internationalen Dienstreisen?“

Ein allgemeines Sprachmodell kennt die internen Richtlinien eines Unternehmens nicht zuverlässig.

Ein KI-Assistent mit RAG kann dagegen die freigegebenen HR-Dokumente des Unternehmens durchsuchen, die relevanten Erstattungsregeln abrufen und diese als Grundlage für seine Antwort verwenden.

So entsteht ein KI-System, das auch mit Informationen arbeiten kann, die nicht in den ursprünglichen Trainingsdaten des Sprachmodells enthalten waren.

 

RAG vs. herkömmliches LLM: Wo liegt der Unterschied?

Ein Large Language Model (LLM) und ein RAG-System sind keine konkurrierenden Technologien. In den meisten Fällen nutzt RAG ein LLM als Bestandteil des Gesamtsystems. Der entscheidende Unterschied liegt darin, woher das Modell die Informationen bezieht, die es zur Beantwortung einer konkreten Frage benötigt.

Ein herkömmliches Sprachmodell generiert Antworten hauptsächlich auf Grundlage der Informationen, die während seines Trainings in den Modellparametern repräsentiert wurden, sowie des aktuellen Gesprächskontexts. Ein RAG-System erweitert diesen Ansatz um den gezielten Abruf externer Informationen.

Aspekt LLM ohne Informationsabruf RAG-basiertes System
Wissensgrundlage Informationen, die im trainierten Modell repräsentiert sind Modellwissen plus abgerufene externe Informationen
Aktualität der Informationen Kann durch den Wissensstand und die Funktionen des Modells begrenzt sein Kann aktuelle Informationen aus angebundenen Quellen abrufen
Unternehmensspezifisches Wissen Nur eingeschränkt verfügbar, sofern es nicht als Kontext bereitgestellt oder auf andere Weise in das System integriert wird Kann auf freigegebene interne Dokumente und Datenbanken zugreifen
Quellenangaben Hängen von der jeweiligen Anwendung ab Kann so gestaltet werden, dass Antworten auf die abgerufenen Quellen verweisen
Aktualisierung des Wissens Kann zusätzlichen Kontext, Systemanpassungen oder eine Aktualisierung des Modells erfordern Die zugrunde liegende Wissensquelle kann aktualisiert werden
Hauptstärke Allgemeine Sprachverarbeitung und Denkaufgaben Anwendungen, bei denen umfangreiches Wissen und nachvollziehbare Informationsquellen wichtig sind

Zugriff auf externe Informationen

Sobald ein Nutzer eine Frage stellt, durchsucht ein RAG-System eine angebundene Informationsquelle nach passenden Inhalten. Die gefundenen Informationen werden ausgewählt und dem Sprachmodell als zusätzlicher Kontext bereitgestellt. Auf dieser Grundlage formuliert das Modell seine Antwort.

Unternehmen können dafür unterschiedliche Informationsquellen einbinden, zum Beispiel:

  • Interne Unternehmensrichtlinien
  • Produktdokumentationen
  • Support-Artikel
  • Technische Handbücher
  • Forschungsdatenbanken und Fachliteratur
  • Vertriebsunterlagen
  • Verträge und freigegebene Dokumentvorlagen
  • Interne Wissensdatenbanken
  • Regelmäßig aktualisierte Datensätze

Ein wichtiger Vorteil dieses Ansatzes ist, dass sich die zugrunde liegenden Informationsquellen aktualisieren lassen, ohne das Sprachmodell dafür erneut trainieren zu müssen. So kann ein KI-System beispielsweise auf neue Produktinformationen oder geänderte Unternehmensrichtlinien zugreifen, sobald diese in der angebundenen Wissensdatenbank verfügbar sind.

Neben dem gezielten Abruf externer Informationen spielt auch die Aufbereitung eigener Inhalte eine wichtige Rolle, wenn Unternehmen ihre Sichtbarkeit in KI-generierten Antworten verbessern möchten. Mehr dazu erfahren Sie in unserem Beitrag zur Optimierung für KI-Suchsysteme (LLMO, GEO und AIO).

Long-Context-LLMs: Ist RAG noch notwendig?

Moderne Sprachmodelle können mittlerweile sehr große Informationsmengen innerhalb eines einzigen Kontextfensters verarbeiten. Dadurch stellt sich eine naheliegende Frage: Wenn ein LLM umfangreiche Dokumente oder sogar mehrere Dokumente gleichzeitig lesen kann, wird RAG dann überhaupt noch benötigt?

Die beiden Ansätze unterscheiden sich vor allem darin, wie Informationen für die Verarbeitung bereitgestellt werden.

Bei einem Long-Context-Ansatz werden umfangreiche Textmengen direkt an das Sprachmodell übergeben. Das Modell kann diese Informationen innerhalb einer Anfrage gemeinsam analysieren. RAG verfolgt dagegen einen gezielteren Ansatz: Das System sucht zunächst nach den Textpassagen, die für die jeweilige Frage besonders relevant sind, und stellt nur diese dem Modell zur Verfügung.

Ein großes Kontextfenster kann besonders sinnvoll sein, wenn:

  • Das Modell ein vollständiges Dokument analysieren muss.
  • Zusammenhänge zwischen verschiedenen Abschnitten eines Textes wichtig sind.
  • Nur eine begrenzte Menge an Ausgangsmaterial vorliegt.
  • Die Zusammenfassung umfangreicher Dokumente im Mittelpunkt steht.

RAG kann dagegen Vorteile bieten, wenn:

  • Eine sehr umfangreiche Wissensdatenbank durchsucht werden muss.
  • Informationen regelmäßig aktualisiert werden.
  • Für eine Anfrage nur ein kleiner Teil des gesamten Datenbestands relevant ist.
  • Unterschiedliche Zugriffsberechtigungen berücksichtigt werden müssen.
  • Die Nachvollziehbarkeit der verwendeten Quellen wichtig ist.
  • Der Aufwand für Informationsabruf und Verarbeitung kontrolliert werden soll.

In der Praxis schließen sich beide Ansätze nicht gegenseitig aus. Sie lassen sich auch kombinieren: Ein RAG-System kann beispielsweise relevante Textpassagen aus einer großen Wissensdatenbank abrufen und diese anschließend einem Sprachmodell mit großem Kontextfenster zur Verfügung stellen. Das Modell kann die ausgewählten Informationen dann gemeinsam analysieren und für seine Antwort nutzen.

RAG wird durch größere Kontextfenster also nicht grundsätzlich überflüssig. Welcher Ansatz besser geeignet ist, hängt vor allem vom Umfang und der Aktualität der verfügbaren Informationen sowie von den Anforderungen der jeweiligen Anwendung ab.

Halluzinationen reduzieren

Eine der wichtigsten Einsatzmöglichkeiten von RAG besteht darin, unbelegte oder fehlerhafte KI-Antworten zu reduzieren.

Large Language Models können mitunter Informationen generieren, die überzeugend klingen, aber sachlich falsch oder nicht durch verlässliche Quellen gestützt sind. Solche Fehler werden häufig als Halluzinationen bezeichnet.

RAG kann dieses Problem verringern, indem dem Sprachmodell vor der Antwort relevante Informationen aus geeigneten Quellen zur Verfügung gestellt werden. Dadurch erhält das Modell eine zusätzliche Faktenbasis, auf die es sich bei der Antwortgenerierung stützen kann. Ob die Antwort tatsächlich korrekt ist, hängt jedoch auch davon ab, wie zuverlässig der Informationsabruf funktioniert und wie gut das Sprachmodell die bereitgestellten Inhalte interpretiert.

Allerdings garantiert RAG keine fehlerfreien Antworten. Ein RAG-System kann weiterhin falsche oder unzureichende Ergebnisse liefern, wenn:

  • Die zugrunde liegenden Quellen fehlerhafte Informationen enthalten.
  • Veraltete Dokumente in der Wissensdatenbank verbleiben.
  • Beim Informationsabruf die falschen Textpassagen ausgewählt werden.
  • Wichtige Informationen in den verfügbaren Quellen fehlen.
  • Dokumente unübersichtlich oder schlecht strukturiert sind.
  • Zugriffsberechtigungen nicht korrekt eingerichtet sind.
  • Das Sprachmodell die abgerufenen Informationen falsch interpretiert.

Betrachten Sie RAG daher als Möglichkeit, einer KI bessere Informationsgrundlagen für ihre Antworten bereitzustellen, nicht als Verfahren, das Fehler vollständig ausschließt.

Sicherheit und Datenverwaltung

RAG kann Unternehmen dabei helfen, vertrauliche und unternehmensspezifische Informationen kontrolliert für KI-Anwendungen bereitzustellen. Die Daten können in angebundenen Wissensdatenbanken oder anderen verwalteten Informationsquellen verbleiben, während das Sprachmodell bei einer Anfrage nur die jeweils benötigten Inhalte erhält.

Allerdings ist ein RAG-System nicht automatisch sicher. Der Schutz sensibler Informationen hängt von der gesamten Systemarchitektur und den implementierten Sicherheitsmaßnahmen ab.

Dazu gehören:

  • Authentifizierung der Nutzer
  • Zugriffsberechtigungen
  • Datenverschlüsselung
  • Sichere Datenspeicherung
  • Protokollierung von Zugriffen und Aktivitäten
  • Einbindung externer KI-Anbieter
  • Sicherheit der verwendeten Vektordatenbanken
  • Dokumentenspezifische Zugriffsrechte
  • Richtlinien zur Datenspeicherung und -löschung
  • Einhaltung gesetzlicher und regulatorischer Anforderungen

Ein sorgfältig konzipiertes RAG-System sollte ausschließlich Informationen abrufen, für die der jeweilige Nutzer eine Zugriffsberechtigung besitzt.

Das ist besonders wichtig, wenn RAG mit vertraulichen Personalinformationen, Kundendaten, Finanzunterlagen, geistigem Eigentum oder anderen besonders schützenswerten Informationen eingesetzt wird.

 

Wie funktioniert RAG?

Auch wenn RAG-Systeme in der Praxis recht komplex aufgebaut sein können, lässt sich das grundlegende Funktionsprinzip in drei Schritte unterteilen.

1. Retrieval (Informationsabruf)

Zunächst stellt der Nutzer eine Frage.

Das System durchsucht daraufhin eine angebundene Wissensquelle nach Informationen, die für die Anfrage relevant sind.

Viele RAG-Systeme wandeln Dokumente dazu in numerische Darstellungen um, sogenannte Embeddings. Diese ermöglichen es dem System, Textpassagen anhand ihrer inhaltlichen Bedeutung zu finden, anstatt sich ausschließlich auf identische oder ähnliche Suchbegriffe zu stützen.

2. Augmentation (Erweiterung des Kontexts)

Im nächsten Schritt übernimmt das System die relevantesten gefundenen Informationen und fügt sie dem Kontext hinzu, der dem Sprachmodell zur Verfügung gestellt wird.

Das Modell erhält dadurch zwei wesentliche Informationsgrundlagen:

  • Die ursprüngliche Frage des Nutzers
  • Relevante Informationen aus der angebundenen Wissensdatenbank

3. Generation (Antwortgenerierung)

Auf Basis des bereitgestellten Kontexts formuliert das Large Language Model eine Antwort.

Je nach Implementierung kann die Anwendung zusätzlich Quellenangaben oder Links zu den verwendeten Dokumenten anzeigen. So können Nutzer die Informationsgrundlage der Antwort überprüfen.

Moderne RAG-Architekturen umfassen in der Praxis häufig weitere Komponenten, beispielsweise eine nachgelagerte Bewertung und Sortierung der Suchergebnisse (Reranking), Filterung anhand von Metadaten, eine Kombination verschiedener Suchverfahren (hybride Suche), die Umformulierung von Suchanfragen (Query Rewriting), Zugriffskontrollen und Verfahren zur Qualitätsbewertung.

 

Geschäftliche Anwendungsbereiche von RAG

RAG ist besonders nützlich, wenn Unternehmen über große Mengen relevanter Informationen verfügen, auf die Mitarbeiter oder Kunden schnell zugreifen müssen.

Kundenservice und Support

Kundenservice

Kundenservice-Teams verfügen häufig über umfangreiche Sammlungen von Informationen, darunter:

  • Hilfeartikel und FAQ-Bereiche
  • Anleitungen zur Fehlerbehebung
  • Produktspezifikationen
  • Unternehmensrichtlinien
  • Dokumentationen zu früheren Supportanfragen

Ein KI-Assistent auf Basis von RAG kann vor der Beantwortung einer Frage gezielt nach passenden Informationen suchen. Typische Anfragen könnten beispielsweise lauten:

„Warum werden die Daten in meiner Anwendung nicht synchronisiert?“

oder:

„Kann ich eine Bestellung auch nach 30 Tagen noch zurückgeben?“

Anstatt eine allgemeine Antwort zu generieren, kann der Assistent auf die freigegebene Support-Dokumentation des Unternehmens zurückgreifen und diese als Grundlage verwenden.

Das kann zu einheitlicheren Antworten beitragen und Unternehmen dabei helfen, ihren Kundenservice auch außerhalb der regulären Geschäftszeiten anzubieten. Bei komplexen, sensiblen oder besonders kritischen Anliegen sollte jedoch weiterhin die Möglichkeit bestehen, einen Mitarbeiter einzubeziehen.

Interne Wissenssuche

Unternehmensinternes Wissen ist häufig auf verschiedene Systeme und Dokumente verteilt. Dazu gehören beispielsweise PDFs, Intranets, Wikis, Cloud-Speicher, Projektmanagement-Tools und einzelne Dateien.

Selbst eine einfache Frage kann deshalb eine Suche in mehreren Systemen erforderlich machen.

Mit einem internen KI-Assistenten auf RAG-Basis könnten Mitarbeiter stattdessen direkt Fragen stellen wie:

„Wie reiche ich eine Reisekostenabrechnung für eine internationale Dienstreise ein?“

oder:

„Wie läuft die Inbetriebnahme dieser Anlage ab?“

Das System kann die relevanten Passagen aus freigegebenen Dokumenten abrufen und zusammenfassen. Dadurch müssen Mitarbeiter weniger Zeit für die Suche nach Informationen aufwenden.

Einheitliche Dokumentenerstellung

RAG kann Unternehmen auch bei der Erstellung von Dokumenten unterstützen.

Ein Vertriebsteam könnte einem KI-System beispielsweise Zugriff auf folgende Materialien geben:

  • Freigegebene Angebotsvorlagen
  • Produktinformationen
  • Preisdokumentationen
  • Frühere Angebote
  • Marken- und Kommunikationsrichtlinien
  • Rechtlich geprüfte Formulierungen für bestimmte Anwendungsbereiche

Bei der Erstellung eines neuen Angebots kann das Sprachmodell die jeweils relevanten Informationen abrufen und als Grundlage für den Text verwenden.

So lassen sich Dokumente erstellen, die besser mit dem aktuellen Informationsstand und den unternehmensinternen Standards übereinstimmen.

Eine abschließende Prüfung durch Mitarbeiter bleibt dennoch wichtig. Das gilt insbesondere für Verträge, Finanzdokumente, regulierte Kommunikation und andere Inhalte mit weitreichenden Konsequenzen.

 

RAG implementieren: Schritt für Schritt

Ein erfolgreiches RAG-Projekt hängt in der Regel weniger davon ab, das fortschrittlichste KI-Modell auszuwählen. Entscheidend ist vielmehr, ein konkretes Problem mit gut aufbereiteten und zuverlässig verwalteten Informationen zu lösen.

Schritt 1: Den Anwendungsfall festlegen

Beginnen Sie mit einem konkreten Problem, das Sie lösen möchten.

Vermeiden Sie einen Einstieg wie:

„Wir möchten RAG einsetzen.“

Formulieren Sie stattdessen ein messbares Ziel, zum Beispiel:

„Mitarbeiter sollen Antworten in unseren HR-Dokumenten finden können, ohne dafür Hunderte von Dateien durchsuchen zu müssen.“

oder:

„Unser Support-Assistent soll häufig gestellte Fragen zu Produkten anhand unserer freigegebenen Dokumentation beantworten.“

Ein klar definierter Anwendungsfall hilft Ihnen dabei, folgende Punkte festzulegen:

  • Welche Informationen benötigt das System?
  • Wer soll darauf zugreifen dürfen?
  • Welche Anforderungen gelten an die Genauigkeit der Antworten?
  • Sind Quellenangaben erforderlich?
  • In welchen Fällen müssen Mitarbeiter die Antworten überprüfen?
  • Anhand welcher Kriterien lässt sich der Erfolg messen?

Schritt 2: Die Daten aufbereiten

Die Qualität eines RAG-Systems hängt maßgeblich von der Qualität der zugrunde liegenden Informationen ab.

Sammeln Sie zunächst alle Dokumente, die das System tatsächlich benötigt. Anschließend sollten Sie:

  • Veraltete Informationen entfernen
  • Doppelte Inhalte bereinigen
  • Fehlerhafte Angaben korrigieren
  • Einheitliche Formatierungen festlegen
  • Aussagekräftige Titel und Zwischenüberschriften ergänzen
  • Verantwortlichkeiten für einzelne Dokumente definieren
  • Verfahren zur regelmäßigen Aktualisierung einrichten

Ein weiterer wichtiger Aspekt ist das sogenannte Chunking.

Dabei werden umfangreiche Dokumente in kleinere, inhaltlich zusammenhängende Abschnitte unterteilt, die das System unabhängig voneinander abrufen kann.

Sind diese Abschnitte zu groß, enthalten sie möglicherweise zu viele irrelevante Informationen. Sind sie dagegen zu klein, kann wichtiger Zusammenhang verloren gehen.

Eine allgemeingültige optimale Abschnittsgröße gibt es nicht. Sie hängt unter anderem von der Art der Dokumente, dem verwendeten Suchsystem und Embedding-Modell, den typischen Nutzerfragen und dem jeweiligen Anwendungsfall ab.

Schritt 3: Die passende RAG-Technologie auswählen

Unternehmen haben grundsätzlich zwei Möglichkeiten.

Ein bestehendes KI-Produkt mit RAG-Funktionen nutzen

Für kleinere oder klar abgegrenzte Anwendungen im Wissensmanagement ist dies häufig der schnellste Einstieg. Unternehmen können vorhandene Lösungen nutzen, ohne eine eigene RAG-Architektur vollständig entwickeln zu müssen.

Eine individuelle RAG-Anwendung entwickeln

Eine maßgeschneiderte Implementierung bietet mehr Kontrolle über verschiedene technische Komponenten und Funktionen, darunter:

  • Die Strategie für den Informationsabruf
  • Die verwendeten KI-Modelle
  • Datenbanken
  • Zugriffsberechtigungen
  • Benutzeroberflächen
  • Schnittstellen zu anderen Systemen
  • Verfahren zur Qualitätsbewertung
  • Überwachung und Protokollierung des Systemverhaltens
  • Die Sicherheitsarchitektur

Welche Variante sinnvoll ist, hängt vom Anwendungsfall, den verfügbaren technischen Ressourcen, dem Risikoniveau, den Anforderungen an die Datenverarbeitung und dem erwarteten Umfang ab.

Schritt 4: Das System mit realistischen Fragen testen

Bewerten Sie ein RAG-System nicht ausschließlich anhand idealer Beispieldemonstrationen.

Erstellen Sie stattdessen einen realistischen Fragenkatalog, der typische Anfragen tatsächlicher Nutzer abbildet.

Berücksichtigen Sie dabei:

  • Einfache Fragen
  • Mehrdeutige Fragen
  • Fragen, für deren Beantwortung mehrere Dokumente benötigt werden
  • Fragen, die das System ablehnen sollte
  • Fragen mit falschen Annahmen
  • Fragen zu veralteten Informationen
  • Fragen von Nutzern mit unterschiedlichen Zugriffsberechtigungen

Überprüfen Sie anschließend, ob das System:

  • Die richtigen Informationen abruft
  • Korrekte Antworten generiert
  • Passende Quellen angibt
  • Unsicherheiten kenntlich macht
  • Unbelegte Aussagen vermeidet
  • Zugriffsberechtigungen einhält
  • Bei vergleichbaren Anfragen konsistente Ergebnisse liefert

Schritt 5: Das System kontinuierlich verbessern

Die Implementierung eines RAG-Systems ist kein einmaliges Projekt. Seine Leistung sollte regelmäßig überprüft werden, da sich Dokumente, Produkte, Unternehmensrichtlinien, Nutzerverhalten und KI-Modelle im Laufe der Zeit verändern.

Wenn das System eine unzureichende Antwort liefert, sollten Sie zunächst die Ursache ermitteln. Das Problem kann auf unterschiedlichen Ebenen entstehen:

  • Retrieval (Informationsabruf): Das System hat die falschen Informationen gefunden.
  • Datenqualität: Die benötigten Informationen fehlen oder sind schlecht strukturiert.
  • Generation (Antwortgenerierung): Das Sprachmodell hat die korrekt abgerufenen Informationen falsch interpretiert.
  • Zugriffsberechtigungen: Dem Nutzer wurden falsche Inhalte zur Verfügung gestellt oder notwendige Informationen vorenthalten.
  • Prompting und Orchestrierung: Das System wurde nicht ausreichend angewiesen, die abgerufenen Informationen angemessen für die Antwort zu verwenden.

Wenn Sie diese Komponenten getrennt untersuchen, können Sie die Ursache gezielter beheben. Das ist wesentlich effektiver, als bei jeder fehlerhaften Antwort einfach das verwendete Sprachmodell auszutauschen.

 

KI-Tools mit quellen- und kontextbezogenem Informationsabruf

Unternehmen müssen nicht zwangsläufig alle Komponenten für den Informationsabruf selbst entwickeln. Es gibt bereits verschiedene KI-Produkte, die den Zugriff auf Dokumente, Wissensdatenbanken oder andere Informationsquellen ermöglichen.

Die folgenden Beispiele verfolgen unterschiedliche technische Ansätze. Nicht alle sind RAG-Plattformen im engeren Sinne, zeigen aber, wie KI-Systeme externe oder bereitgestellte Informationen für ihre Arbeit nutzen können.

NotebookLM

Googles NotebookLM eignet sich besonders gut für quellenbasierte Recherche und die Analyse von Dokumenten.

Nutzer können eigene Quellen bereitstellen und dazu Fragen stellen. NotebookLM greift auf die ausgewählten Quellen zurück, um relevante Informationen zu finden. Die Antworten können außerdem Quellenangaben enthalten, über die sich die zugrunde liegenden Textstellen nachvollziehen lassen.

Des Weiteren eignet sich das Tool auch für:

  • Die Zusammenführung von Informationen aus verschiedenen Quellen
  • Die Erstellung von Onboarding-Materialien
  • Die Auswertung von Berichten
  • Die Arbeit mit umfangreichen Dokumentensammlungen

Notion AI

Notion AI kann Informationen durchsuchen, die in einem Notion-Arbeitsbereich gespeichert sind. Je nach Produktkonfiguration lassen sich auch verbundene Anwendungen und externe Informationsquellen einbeziehen.

Das kann besonders für Unternehmen hilfreich sein, die bereits einen großen Teil ihres internen Wissens und ihrer Arbeitsabläufe in Notion dokumentieren.

Cursor

Cursor nutzt Informationsabruf und kontextbezogene Suche für die Softwareentwicklung.

Die KI-Funktionen können eine bestehende Codebasis durchsuchen und relevante Codeabschnitte sowie den dazugehörigen Kontext in die Interaktion mit der KI einbeziehen. Das unterstützt Entwickler dabei, vorhandene Software besser zu verstehen und gezielt anzupassen.

Typische Anwendungsbereiche sind:

  • Sich in unbekannten Code einarbeiten
  • Vorhandene Implementierungen finden
  • Abhängigkeiten im Code aufspüren
  • Codeänderungen vornehmen
  • Mit umfangreichen Software-Repositories arbeiten

Cursor sollte allerdings nicht einfach als „RAG-Tool“ bezeichnet werden. Treffender ist die Einordnung als KI-gestützte Entwicklungsumgebung, die den Abruf von Informationen aus einer Codebasis und kontextbezogene Suche in ihre Arbeitsabläufe integriert.

Dify

Dify ist eine Open-Source-Plattform zur Entwicklung von KI-Anwendungen, die unter anderem Funktionen für Wissensdatenbanken und RAG bietet.

Damit lassen sich beispielsweise folgende Anwendungen erstellen:

  • Interne KI-Assistenten
  • Chatbots auf Basis von Wissensdatenbanken
  • KI-Assistenten für den Kundenservice
  • Systeme zur Beantwortung von Fragen anhand von Dokumenten
  • Individuelle KI-gestützte Arbeitsabläufe

Dify bietet mehr Anpassungsmöglichkeiten als eine einfache Anwendung zum Chatten mit Dokumenten. Gleichzeitig müssen Entwicklungsteams weniger technische Infrastruktur von Grund auf selbst aufbauen.

 

Häufig gestellte Fragen zu RAG

Wie funktioniert RAG einfach erklärt?

RAG durchsucht eine externe Informationsquelle, bevor die KI ihre endgültige Antwort generiert.

Suchen → Relevante Informationen abrufen → Informationen in den Prompt einbinden → Antwort generieren

Dadurch kann die KI auch Informationen für ihre Antworten nutzen, die nicht unbedingt in den ursprünglichen Trainingsdaten des Sprachmodells enthalten waren.

Verhindert RAG Halluzinationen vollständig?

Nein. RAG kann Halluzinationen reduzieren, indem Antworten auf Grundlage zusätzlich abgerufener Informationen erstellt werden. Es kann jedoch nicht garantieren, dass jede Antwort korrekt ist.

Fehler können weiterhin durch unzureichende Datenqualität, einen fehlerhaften Informationsabruf, fehlende Angaben, mehrdeutige Fragen oder eine falsche Interpretation durch das Sprachmodell entstehen.

Ist RAG dasselbe wie das Training einer KI mit Unternehmensdaten?

Nein. Bei RAG bleiben externe Informationen grundsätzlich von den trainierten Parametern des Sprachmodells getrennt. Benötigte Informationen werden bei einer Anfrage abgerufen und dem Modell als zusätzlicher Kontext bereitgestellt.

Fine-Tuning, Pretraining, Prompt Engineering, Long-Context-Verarbeitung und RAG sind unterschiedliche Verfahren. Sie können jedoch auch innerhalb desselben KI-Systems miteinander kombiniert werden.

Ist RAG sicher?

RAG kann in sicheren Unternehmensarchitekturen eingesetzt werden, garantiert aber nicht automatisch den Schutz sensibler Daten.

Unternehmen müssen weiterhin geeignete Maßnahmen zur Authentifizierung, Zugriffssteuerung und Verschlüsselung umsetzen. Auch die Kontrolle externer Anbieter, Richtlinien zur Datenspeicherung und -löschung sowie eine verantwortungsvolle Datenverwaltung sind wichtig.

Beim Informationsabruf müssen dieselben Zugriffsberechtigungen gelten wie für die ursprünglichen Datenquellen.

Welche Daten eignen sich am besten für RAG?

RAG funktioniert besonders gut mit Informationen, die folgende Eigenschaften aufweisen:

  • Korrekt und zuverlässig
  • Aktuell
  • Klar strukturiert
  • Für den Anwendungsfall relevant
  • Frei von doppelten Inhalten
  • Durchsuchbar
  • Mit geeigneten Zugriffsberechtigungen versehen

Gut gepflegte Produktdokumentationen, interne Wissensdatenbanken, Unternehmensrichtlinien, Support-Dokumentationen und technische Handbücher eignen sich beispielsweise als Datenquellen.

Was sollten Sie bei der Aufbereitung von Dokumenten für RAG beachten?

Achten Sie zunächst auf die Qualität der Informationen, bevor Sie sich mit komplexen KI-Konfigurationen beschäftigen.

  • Veraltete Dokumente entfernen
  • Doppelte Informationen bereinigen
  • Aussagekräftige Überschriften verwenden
  • Schwer verarbeitbare Dateiformate bei Bedarf konvertieren
  • Wichtige Metadaten beibehalten
  • Umfangreiche Inhalte in sinnvolle Textabschnitte unterteilen
  • Eindeutige Verantwortlichkeiten für die Dokumente festlegen
  • Verfahren zur regelmäßigen Aktualisierung und Löschung einrichten

Je besser die Qualität und Struktur der Ausgangsdaten ist, desto zuverlässiger kann das RAG-System relevante Informationen finden.

 

Fazit

Retrieval-Augmented Generation erweitert generative KI um eine Fähigkeit, die ein Sprachmodell allein nicht zuverlässig bietet: den Zugriff auf relevante externe Informationen genau dann, wenn ein Nutzer sie benötigt.

Anstatt sich ausschließlich auf das Wissen zu stützen, das ein Large Language Model während seines Trainings erworben hat, können RAG-Anwendungen relevantes Unternehmenswissen, Dokumentationen und andere freigegebene Informationsquellen abrufen und für die Erstellung einer Antwort nutzen.

Für Unternehmen eröffnet das vielfältige Einsatzmöglichkeiten, beispielsweise im Kundenservice, bei der unternehmensinternen Suche, im Wissensmanagement, in der Softwareentwicklung und bei der Dokumentenerstellung.

Ein erfolgreiches RAG-System entsteht jedoch nicht einfach dadurch, dass ein Sprachmodell mit einem Ordner voller PDF-Dateien verbunden wird.

Entscheidend sind vielmehr eine durchdachte Informationsarchitektur, ein zuverlässiger Abruf relevanter Inhalte, korrekt verwaltete Zugriffsberechtigungen, regelmäßige Qualitätskontrollen und eine kontinuierliche Pflege der Datenbasis.

Unternehmen, die den Einsatz von KI im eigenen Betrieb planen, sollten deshalb am besten mit einem klar definierten Anwendungsfall beginnen. Darauf aufbauend können sie eine zuverlässige Wissensbasis schaffen, die Qualität der Antworten messen und das System anhand der tatsächlichen Nutzung schrittweise verbessern.

RAG löst nicht sämtliche Einschränkungen generativer KI. Richtig eingesetzt, kann es ein allgemeines Sprachmodell jedoch zu einer wesentlich leistungsfähigeren Schnittstelle für das Wissen machen, das für Ihr Unternehmen tatsächlich relevant ist.

新着記事

SEO