Am 31. Dezember geht der Kollege in Rente. Mit ihm geht auch das Wissen, das nirgends aufgeschrieben steht.

Er weiß, warum die Maschine in Halle 3 bei Charge XY immer klemmt. Er weiß, welcher Kunde welche Sonderkonditionen hat und warum. Er weiß, welche Verfahrensanweisung eigentlich veraltet ist, auch wenn sie noch im Ordner steckt. Nichts davon steht in einem System. Es steht in seinem Kopf — und am 31. Dezember trägt er es aus der Tür.

So verlieren Unternehmen ihr wertvollstes Kapital: nicht durch einen Skandal, sondern lautlos, einen Ruhestand nach dem anderen.

Ich habe mir für diesen Beitrag einen Kurs des Anbieters Everlast AI zum Thema KI-Wissensmanagement und RAG-Systeme angesehen. Was folgt, ist keine Werbung dafür, sondern eine nüchterne Einordnung: welche Zahlen daraus stimmen, welche nicht — und was ein RAG-System technisch tatsächlich leistet, wenn es darum geht, Unternehmenswissen zu speichern und nutzbar zu machen.

Warum das Thema drängt 25 Prozent ihrer Arbeitszeit verbringen Beschäftigte laut dem Atlassian „State of Teams Report" 2025 allein mit der Suche nach Informationen, die im Unternehmen eigentlich schon vorhanden sind. Befragt wurden 12.000 Wissensarbeiter und 200 Führungskräfte. Grob gerechnet: Bei einer 40-Stunden-Woche sind das rund 10 Stunden — als würde jeder vierte Mitarbeiter nur suchen, statt zu arbeiten.

13,4 Millionen Erwerbspersonen erreichen laut Statistischem Bundesamt (Pressemitteilung, August 2025) in den nächsten 15 Jahren das gesetzliche Rentenalter — knapp ein Drittel aller heutigen Erwerbstätigen.

57 Prozent der mittelständischen Unternehmer waren 2025 bereits 55 Jahre oder älter, drei Prozentpunkte mehr als 2024 (KfW Research, „Nachfolge-Monitoring Mittelstand", Fokus Nr. 526, Januar 2026). Rund 109.000 Unternehmen suchen laut derselben Studie jährlich einen Nachfolger — doch inzwischen planen jährlich rund 114.000 Inhaber die Schließung, weil sich niemand findet. Zum ersten Mal übersteigen die geplanten Stilllegungen die Nachfolgepläne.

Das Fazit dieser drei Zahlen zusammen ist unbequem: Genau in dem Moment, in dem besonders viel Erfahrungswissen das Unternehmen verlässt, wird gleichzeitig besonders viel Arbeitszeit mit der Suche nach genau diesem Wissen verschwendet.

Warum „einfach alles in ChatGPT hochladen" nicht reicht 88 Prozent der Unternehmen setzen laut McKinsey bereits irgendeine Form von KI ein — aber nur 7 Prozent haben sie unternehmensweit skaliert. Das ist keine Kursbehauptung, sondern die tatsächliche Kernzahl aus McKinseys „The State of AI in 2025" (globale Befragung, 1.993 Teilnehmende, veröffentlicht 5. November 2025). Die große Mehrheit probiert KI also aus, ohne dass sie im Alltag wirklich trägt.

Ein Grund dafür: Ein Chatbot, dem man ein paar PDFs oder eine lange Anweisungsdatei gibt, sieht das Unternehmenswissen wie durch ein Schlüsselloch. Was im Sichtfeld liegt, wird gut verarbeitet — alles daneben bleibt unsichtbar. Das Ergebnis sind Halluzinationen, schwankende Antwortqualität und Antworten, die sich von Anfrage zu Anfrage widersprechen.

Ein zweiter Grund ist der Umgang mit sensiblen Daten. Laut einer WalkMe-Umfrage im Auftrag von SAP (1.000 berufstätige Erwachsene in den USA, Juli 2025) nutzen 78 Prozent der Mitarbeitenden nicht von ihrem Arbeitgeber freigegebene KI-Tools — sie kopieren also im Zweifel Firmenwissen einfach in kostenlose Chat-Oberflächen. Die Zahl stammt aus den USA, nicht aus Deutschland; belastbare Zahlen für den deutschen Mittelstand konnte ich dazu nicht finden. Dass das Grundproblem — Schatten-KI mit ungeklärtem Datenabfluss — auch hierzulande real ist, halte ich für plausibel, aber das ist meine Einschätzung, keine belegte Zahl.

Wie ein RAG-System technisch funktioniert RAG steht für Retrieval Augmented Generation. Die Grundidee: Statt der KI vor jeder Frage sämtliche Dokumente in den Kontext zu kippen, durchsucht das System vorab ein „Bedeutungsverzeichnis" der eigenen Dokumente und gibt dem Sprachmodell nur die paar Textstellen, die die konkrete Frage tatsächlich beantworten.

Technisch läuft das in klar getrennten Schritten ab:

OCR und Chunking. Dokumente — auch Scans oder Tabellen — werden zunächst in sauberen Text umgewandelt und dann in kleinere, thematisch sinnvolle Abschnitte zerlegt, meist ein bis drei Absätze. Ein ganzes 40-seitiges Handbuch auf einmal zu verarbeiten, funktioniert nicht: Übliche Einbettungsmodelle haben ein festes Textlimit pro Durchlauf, und ein einzelner Vektor über ein ganzes Dokument würde die Bedeutung einzelner Abschnitte verwässern.

Embeddings. Jeder Textabschnitt wird von einem spezialisierten Modell in eine lange Zahlenliste (einen Vektor) übersetzt, die seine Bedeutung im Verhältnis zu anderen Texten abbildet. Inhaltlich ähnliche Abschnitte liegen in diesem Zahlenraum nah beieinander.

Vektordatenbank. Diese Vektoren werden in einer darauf spezialisierten Datenbank gespeichert (etwa Pinecone, Qdrant oder PostgreSQL mit der Erweiterung pgvector), die in Millisekunden die ähnlichsten Vektoren zu einer Suchanfrage findet.

Hybrid Search. Reine Bedeutungssuche (semantische Suche) ist schwach bei exakten Begriffen — Artikelnummern, Eigennamen, Fachbegriffe. Deshalb kombinieren produktive Systeme sie mit klassischer Stichwortsuche, meist dem Verfahren BM25 (Best Matching 25), das danach bewertet, wie oft und wie selten ein Suchbegriff im Dokumentenbestand vorkommt.

Reranking. Ein weiteres, spezialisiertes Modell bewertet die vorausgewählten Treffer noch einmal paarweise gegen die konkrete Frage und sortiert sie nach tatsächlicher Relevanz, bevor sie ins Sprachmodell gehen.

Knowledge Graphs und GraphRAG. Statt Wissen nur als lose Textfragmente zu speichern, werden Beziehungen zwischen Begriffen explizit modelliert — etwa: dieser Abschnitt gehört zu diesem Kapitel, das wiederum zu dieser Norm. Das hilft bei Fragen, die mehrere logische Schritte zwischen Dokumenten verbinden müssen, an denen reine Bedeutungssuche oft scheitert.

Jeder dieser Schritte lässt sich mit gängigen, teils quelloffenen Werkzeugen umsetzen — das ist keine Zukunftsmusik, sondern Stand der Technik.

Wann RAG die falsche Antwort ist Der ehrlichste Punkt aus dem Kurs, den ich hier ausdrücklich teile: RAG ist nicht immer die richtige Lösung. Moderne Sprachmodelle haben Kontextfenster von einer Million Tokens — das entspricht grob 750.000 Wörtern. Ein einzelner Vertrag, ein einzelnes Protokoll, ein einzelner Ausweis lässt sich damit oft direkt und zuverlässiger verarbeiten als über eine RAG-Pipeline, die für genau diesen einen Fall unnötige Komplexität einbaut.

RAG lohnt sich erst, wenn der Bestand das Kontextfenster sprengt, wenn dieselbe Frage immer wieder über einen wachsenden, sich ändernden Dokumentenbestand gestellt wird — also bei echtem, dauerhaftem Wissensmanagement, nicht bei der einmaligen Auswertung eines einzelnen Dokuments.

Fazit Ein RAG-System löst kein Wissensproblem, das vorher nicht sauber eingeordnet war — es macht vorhandenes, aber verstreutes Wissen erstmals durchsuchbar. Chunking, Embeddings, Hybrid Search und Reranking sind Werkzeuge, keine Wunder: Sie helfen nur so gut, wie die zugrunde liegenden Dokumente gepflegt sind.

Die eigentliche Entscheidung liegt also nicht bei der Technologie, sondern davor: Wird das Erfahrungswissen der Kollegen, die in den nächsten Jahren in Rente gehen, überhaupt systematisch festgehalten — oder verlässt es mit ihnen einfach das Haus?

Wie viel vom Wissen Ihres Teams steckt aktuell nur in den Köpfen einzelner Kolleginnen und Kollegen — und nicht in einem System, das der Rest des Teams durchsuchen kann? Ich freue mich auf den Austausch.

Quellen: Everlast AI, YouTube-Video „Vergiss 'Second Brains'! So baust du ECHTES KI-Wissensmanagement" (Leonard Schmedding, veröffentlicht 30.06.2026, Kursinhalt/Transkript) | Atlassian, „State of Teams Report" 2025 (12.000 Wissensarbeiter, 200 Führungskräfte) | Statistisches Bundesamt (Destatis), Pressemitteilung PD25_N048_13, August 2025 | KfW Research, „Nachfolge-Monitoring Mittelstand", Fokus Volkswirtschaft Nr. 526, Januar 2026 | McKinsey & Company, „The State of AI in 2025: Agents, innovation, and transformation", 5. November 2025 (n=1.993) | WalkMe-Umfrage im Auftrag von SAP, Juli 2025 (n=1.000, USA), veröffentlicht über news.sap.com | Energy Fuels Inc. / Vacuumschmelze-Übernahme, Pressemeldungen Juni 2026

#KIWissensmanagement #RAG #Wissensmanagement #Mittelstand #DigitaleTransformation #Fachkräftemangel #KünstlicheIntelligenz #Unternehmensnachfolge