# KI-Assistenten mit eigenen Daten: RAG und Datenschutz in der Praxis

Wie KI-Assistenten mit eigenen Unternehmensdaten funktionieren und was bei DSGVO, Anbieterwahl und EU AI Act zählt, mit Checkliste und Pilotplan.

von Alexander Herling Veröffentlicht am 27. Oktober 2026 7 Min. Lesezeit

![Abstrakte Grafik: gestapelte Dokumentblätter in Hellblau, aus denen Linien zu einer dunkelblauen Sprechblase führen, umgeben von einem schützenden Ring](https://degoya.digital/blog/ai-assistants.svg)

Ein Chatbot, der Fragen zu Ihren Produkten, Handbüchern oder internen Richtlinien beantwortet, ist heute mit überschaubarem Aufwand machbar. Die Technik dahinter heißt meist Retrieval-Augmented Generation, kurz RAG. Die eigentlichen Fragen liegen aber selten in der Technik, sondern bei den Daten: Welche Dokumente darf der Assistent verwenden, wer darf welche Antworten sehen, wo werden Daten verarbeitet, und was verlangen DSGVO und EU AI Act? Dieser Beitrag erklärt die Grundlagen und zeigt, wie Sie mit einem kleinen Pilotprojekt sicher starten.

**Hinweis:** Dieser Beitrag gibt einen allgemeinen Überblick und ist keine Rechtsberatung. Für die rechtliche Bewertung Ihres Vorhabens ziehen Sie bitte Ihre Datenschutzbeauftragte oder Ihren Datenschutzbeauftragten und gegebenenfalls eine Anwältin oder einen Anwalt hinzu.

## So funktioniert RAG

Ein Sprachmodell kennt Ihre Unternehmensdokumente nicht. RAG gibt ihm bei jeder Frage die passenden Ausschnitte mit. Der Ablauf in fünf Schritten:

1. **Dokumente sammeln:** Handbücher, FAQ, Produktdaten, Wiki-Seiten, Richtlinien.
2. **In Abschnitte teilen:** Lange Dokumente werden in kurze, sinnvoll abgegrenzte Passagen zerlegt, etwa nach Überschriften.
3. **Embeddings berechnen:** Jede Passage wird in einen Zahlenvektor übersetzt, der ihre Bedeutung abbildet, und in einer Vektordatenbank gespeichert.
4. **Passende Passagen finden:** Stellt jemand eine Frage, sucht das System die inhaltlich ähnlichsten Passagen, oft kombiniert mit klassischer Stichwortsuche.
5. **Antwort mit Quellen:** Das Sprachmodell formuliert aus diesen Passagen eine Antwort und verweist auf die verwendeten Dokumente.

### RAG oder Fine-Tuning?

Beim Fine-Tuning wird ein Modell mit eigenen Beispielen nachtrainiert. Das eignet sich, um Tonfall, Format oder spezielle Aufgaben zu verbessern, aber kaum, um aktuelles Wissen zuverlässig abzurufen.

| Kriterium      | RAG                              | Fine-Tuning                              |
| -------------- | -------------------------------- | ---------------------------------------- |
| Aktualität     | Neues Dokument, sofort verfügbar | Erneutes Training nötig                  |
| Quellenangaben | Möglich                          | Nicht möglich                            |
| Zugriffsrechte | Pro Nutzer filterbar             | Wissen steckt im Modell, nicht filterbar |
| Löschung       | Dokument entfernen               | Praktisch nur durch neues Training       |
| Gut für        | Wissen, Dokumentation, Support   | Stil, Format, Spezialaufgaben            |

Für die meisten Unternehmensassistenten ist RAG deshalb die richtige Grundlage, gerade auch aus Datenschutzsicht.

## Datenquellen und Berechtigungen

Der häufigste Fehler in RAG-Projekten: Alle Dokumente landen in einem gemeinsamen Index, und jeder Nutzer kann alles abfragen. Dann beantwortet der Assistent einer Auszubildenden plötzlich Fragen zu Gehältern oder Vertragskonditionen.

Grundregeln:

- **Nur freigegebene Quellen.** Legen Sie fest, welche Systeme und Ordner angebunden werden. Alles andere bleibt draußen.
- **Rechte mitnehmen.** Jede Passage trägt die Berechtigungen ihres Ursprungsdokuments. Die Suche filtert nach den Rechten des fragenden Nutzers, bevor das Modell etwas sieht.
- **Öffentlich und intern trennen.** Ein Chatbot auf der Website greift nur auf öffentliche Inhalte zu. Interne Assistenten laufen getrennt und mit Anmeldung.
- **Personenbezogene Daten vermeiden,** wo sie für den Zweck nicht nötig sind. Ein Produktassistent braucht keine Kundendatenbank.
- **Synchronisation.** Wird ein Dokument geändert, gelöscht oder in seinen Rechten eingeschränkt, muss das im Index zeitnah ankommen.

## DSGVO: die wichtigsten Punkte

Sobald personenbezogene Daten im Spiel sind, in den Dokumenten, in den Fragen der Nutzer oder in den Protokollen, gilt die DSGVO.

**Rechtsgrundlage.** Für interne Assistenten kommt oft ein berechtigtes Interesse oder die Durchführung des Beschäftigungsverhältnisses in Betracht, für Kundenservice die Vertragserfüllung oder ein berechtigtes Interesse. Welche Grundlage trägt, hängt vom konkreten Zweck ab und sollte dokumentiert werden. Bei Beschäftigtendaten ist zudem in vielen Unternehmen der Betriebsrat zu beteiligen.

**Auftragsverarbeitung.** Nutzen Sie externe Modell-, Hosting- oder Datenbankanbieter, brauchen Sie mit jedem einen Vertrag zur Auftragsverarbeitung nach Art. 28 DSGVO. Prüfen Sie auch die Liste der Unterauftragsverarbeiter.

**Drittlandübermittlung.** Werden Daten in die USA übermittelt, kann das EU-US Data Privacy Framework die Grundlage sein, sofern der Empfänger zertifiziert ist. Das Gericht der EU hat den Angemessenheitsbeschluss im September 2025 bestätigt, ein Rechtsmittel vor dem Europäischen Gerichtshof ist jedoch anhängig. Wer auf Nummer sicher gehen will, vereinbart zusätzlich Standardvertragsklauseln oder wählt eine Verarbeitung in der EU.

**Datenminimierung.** Indexieren Sie nur, was der Assistent braucht. Ersetzen Sie Namen und Kennungen in Beispieldaten, wo möglich.

**Speicherung und Löschung.** Legen Sie fest, wie lange Gesprächsverläufe gespeichert werden, und löschen Sie sie danach automatisch. Löschanfragen betroffener Personen müssen auch Index und Protokolle erreichen.

**Protokollierung.** Logs helfen bei Qualitätssicherung und Missbrauchserkennung, enthalten aber oft personenbezogene Daten. Protokollieren Sie gezielt, schützen Sie die Logs und begrenzen Sie die Aufbewahrung.

**Datenschutz-Folgenabschätzung.** Bei neuen Technologien, umfangreicher Verarbeitung oder sensiblen Daten kann eine Folgenabschätzung nach Art. 35 DSGVO erforderlich sein. Für interne Assistenten mit Zugriff auf Personal- oder Gesundheitsdaten sollten Sie fest damit rechnen. Die Einschätzung trifft Ihre Datenschutzorganisation.

**Transparenz.** Die Datenschutzerklärung beschreibt, welche Daten der Assistent verarbeitet, zu welchem Zweck und mit welchen Anbietern.

## Den passenden Anbieter wählen

Es gibt drei grundlegende Varianten:

| Variante                                            | Vorteile                                            | Zu beachten                                               |
| --------------------------------------------------- | --------------------------------------------------- | --------------------------------------------------------- |
| Modell-API eines großen Anbieters                   | Starke Modelle, schneller Start                     | Vertrag, Speicherort, Aufbewahrung, Training prüfen       |
| Modell über eine Cloud-Plattform in einer EU-Region | Verarbeitung in der EU, bestehende Verträge nutzbar | Verfügbarkeit der Modelle je Region unterschiedlich       |
| Offenes Modell, selbst betrieben                    | Volle Kontrolle über Daten und Standort             | Eigene GPU-Infrastruktur, Betrieb, oft geringere Leistung |

Fragen, die Sie jedem Anbieter stellen sollten:

- Wo werden Eingaben und Ausgaben verarbeitet und gespeichert? Gibt es eine zugesicherte Datenverarbeitung in der EU?
- Werden Daten zum Training verwendet? Bei Business- und API-Angeboten ist das meist ausgeschlossen, bei Verbraucher-Apps nicht immer.
- Wie lange werden Daten aufbewahrt, etwa zur Missbrauchserkennung? Gibt es eine Option ohne Aufbewahrung?
- Welche Unterauftragsverarbeiter sind beteiligt?
- Welche Zertifizierungen und Sicherheitsnachweise liegen vor?

Eine Verarbeitung in der EU senkt das Risiko deutlich, beseitigt aber nicht jede Frage: Bei Anbietern mit Sitz in den USA wird weiterhin über mögliche Zugriffe von US-Behörden diskutiert. Offene Modelle wie Llama, Mistral, Qwen oder Gemma lassen sich vollständig im eigenen Rechenzentrum oder bei einem europäischen Hoster betreiben.

## EU AI Act: was für Chatbots gilt

Die KI-Verordnung der EU gilt schrittweise. Für typische Unternehmensassistenten sind zwei Pflichten relevant:

- **KI-Kompetenz (Art. 4):** Seit dem 2. Februar 2025 müssen Anbieter und Betreiber von KI-Systemen sich um ausreichende KI-Kompetenz der Beschäftigten kümmern, die mit diesen Systemen arbeiten. Mit dem 2026 verabschiedeten KI-Omnibus (Verordnung (EU) 2026/1744) wurde die Pflicht abgeschwächt: Unternehmen müssen nun Maßnahmen ergreifen, die den Aufbau von KI-Kompetenz unterstützen, statt ein bestimmtes Niveau sicherzustellen. Schulungen und klare interne Regeln bleiben sinnvoll.
- **Transparenz (Art. 50):** Seit dem 2. August 2026 müssen KI-Systeme, die direkt mit Menschen interagieren, so gestaltet sein, dass die Menschen erfahren, dass sie mit einer KI sprechen, es sei denn, das ist offensichtlich. Für KI-generierte Inhalte gelten weitere Kennzeichnungspflichten.

Ein Chatbot für Produktfragen oder internes Wissen gilt in der Regel nicht als Hochrisiko-System. Anders kann es aussehen, wenn KI etwa über Bewerbungen, Kredite oder den Zugang zu wichtigen Leistungen mitentscheidet. Solche Einsatzfälle sollten Sie gesondert prüfen lassen.

## Checkliste für den Start

- Zweck und Zielgruppe schriftlich festgelegt
- Datenquellen ausgewählt, sensible Bereiche ausgeschlossen
- Berechtigungen werden bis in die Suche durchgereicht
- Rechtsgrundlage dokumentiert, Betriebsrat bei internen Tools beteiligt
- Verträge zur Auftragsverarbeitung mit allen Anbietern
- Speicherort, Aufbewahrung und Trainingsausschluss geklärt
- Löschfristen für Gesprächsverläufe und Logs festgelegt
- Datenschutz-Folgenabschätzung geprüft
- Hinweis „Sie sprechen mit einer KI“ im Chatfenster
- Datenschutzerklärung ergänzt
- Antworten nennen Quellen, unsichere Fragen werden an Menschen übergeben
- Schulung der Mitarbeitenden zu Möglichkeiten und Grenzen

## Klein anfangen: ein Pilot in sechs Wochen

Ein Pilot mit klar begrenztem Umfang zeigt schnell, ob sich der Aufwand lohnt:

1. **Woche 1:** Einen Anwendungsfall wählen, etwa Fragen zu Produktdokumentation, und 50 typische Fragen mit erwarteten Antworten sammeln.
2. **Woche 2:** Datenquellen und Anbieter festlegen, Verträge und Datenschutz klären.
3. **Woche 3–4:** RAG-Prototyp aufbauen, Abschnittslänge und Suche mit den Testfragen abstimmen.
4. **Woche 5:** Test mit einer kleinen Nutzergruppe, falsche oder fehlende Antworten auswerten.
5. **Woche 6:** Entscheidung über Ausbau, Anpassung oder Abbruch, auf Basis der Testergebnisse.

Die Testfragen sind der wichtigste Baustein: Nach jeder Änderung zeigen sie, ob der Assistent besser oder schlechter geworden ist.

## Was Sie mitnehmen sollten

Ein guter KI-Assistent ist vor allem ein gutes Datenprojekt: klare Quellen, saubere Berechtigungen, nachvollziehbare Antworten und Verträge, die zum Risiko passen. Wer diese Grundlagen im Pilot klärt, kann danach mit gutem Gewissen ausbauen. Wir unterstützen Sie dabei von der Konzeption bis zum Betrieb im Rahmen unserer Leistungen für [KI und Automation](https://degoya.digital/leistungen/ki-automation). Für die Auswahl und Anbindung Ihrer Inhaltssysteme finden Sie hier unsere [Beratung zu CMS](https://degoya.digital/leistungen/beratung-cms), oder [sprechen Sie uns direkt an](https://degoya.digital/kontakt).

## Häufige Fragen

Werden meine Daten zum Training des KI-Modells verwendet?

Bei den Business- und API-Angeboten großer Anbieter ist das in der Regel standardmäßig ausgeschlossen. Prüfen Sie das trotzdem im Vertrag und in den Datenschutzbedingungen der konkreten Leistung, denn Verbraucher-Apps folgen oft anderen Regeln.

Muss ich kennzeichnen, dass Nutzer mit einer KI sprechen?

Ja, nach Art. 50 des EU AI Act müssen Menschen seit dem 2. August 2026 grundsätzlich erfahren, dass sie mit einem KI-System interagieren, sofern das nicht offensichtlich ist. Ein klarer Hinweis im Chatfenster ist die einfachste Lösung.

Ist RAG oder Fine-Tuning besser für Unternehmenswissen?

Für Wissen, das sich ändert oder Zugriffsrechten unterliegt, ist RAG fast immer die bessere Wahl. Dokumente lassen sich aktualisieren oder löschen, ohne ein Modell neu zu trainieren, und Antworten können Quellen nennen.

## Über den Autor: Alexander Herling

Gründer und Inhaber von DEGOYA.digital. Seit dem ersten Kontakt mit 8-Bit-Computern in seiner Kindheit beschäftigt er sich mit Technologie. Heute verbindet er 35 Jahre Erfahrung in Marketing und Webentwicklung mit einem Schwerpunkt auf technischer Suchmaschinenoptimierung.

Passende Leistung

[KI- & Automations-Tools](https://degoya.digital/leistungen/ki-automation)

[Zurück zum Blog](https://degoya.digital/blog)

Source: https://degoya.digital/blog/ki-assistenten-eigene-daten-datenschutz