OpenEvidence im Praxistest: Was die erste systematische Übersicht zur klinischen KI-Suche zeigt

In den USA nutzen laut Herstellerangaben mittlerweile über 40 % der Ärztinnen und Ärzte täglich OpenEvidence, um klinische Fragen zu beantworten. Für viele deutsche Praxen und Kliniken ist das Tool noch Neuland – doch die Diskussion, ob und wie KI-gestützte Antwortmaschinen in die klinische Routine gehören, wird auch hierzulande dringlicher. Eine gerade in npj Digital Medicine veröffentlichte systematische Übersicht liefert dazu erstmals eine belastbare Bestandsaufnahme der bisherigen Evaluationsstudien.

Was ist OpenEvidence – und was wurde untersucht?

OpenEvidence ist eine Retrieval-Augmented-Generation-(RAG)-Plattform: Antworten werden nicht frei generiert, sondern auf Basis kuratierter biomedizinischer Quellen erstellt und mit expliziten Zitaten belegt. Das Autorenteam um Yaara Artsi (Bar-Ilan University) sowie Kolleginnen und Kollegen der Icahn School of Medicine at Mount Sinai und der Mayo Clinic hat systematisch in MEDLINE/PubMed, Scopus, Web of Science und Google Scholar nach peer-reviewten Studien gesucht, die OpenEvidence in klinischen oder klinisch simulierten Settings evaluieren. Elf Studien erfüllten die Einschlusskriterien (Artsi et al., 2026, npj Digital Medicine).

Die Kernbefunde

Drei Ergebnisse sind für die Praxis besonders relevant:

1. Grundsätzlich brauchbare, evidenzgestützte Antworten. Die eingeschlossenen Studien zeigen übereinstimmend, dass OpenEvidence klinisch relevante Antworten liefert, die durch Belege gestützt sind – ein Unterschied zu frei generierenden Chatbots ohne Quellenanbindung.

2. Weniger erfundene Zitate als bei General-Purpose-LLMs. In den Studien, die Halluzinationen gezielt untersuchten, zeigte OpenEvidence niedrigere Raten fabrizierter Quellenangaben als allgemeine große Sprachmodelle. Das ist ein relevanter Sicherheitsvorteil gerade dort, wo Zitate im Praxisalltag ungeprüft übernommen werden könnten.

3. Stärken bei Leitlinienfragen, Schwächen bei Komplexität. Die Performance war am stärksten bei Fragen, die sich unmittelbar an Leitlinien orientieren – etwa Standardtherapien oder etablierte Dosierungsempfehlungen. Bei komplexeren, weniger klar leitliniengestützten klinischen Szenarien variierte die Qualität der Antworten dagegen deutlich.

Ein weiterer Befund verdient besondere Aufmerksamkeit: Die Plattform hat in den untersuchten Studien häufiger bestehende klinische Entscheidungen bestätigt, als sie zu verändern. Das kann positiv gelesen werden – als Bestätigung korrekter Praxis –, birgt aber auch das Risiko, dass Fehlannahmen unkritisch verstärkt statt hinterfragt werden.

Wo die Evidenz an ihre Grenzen stößt

Die Autorinnen und Autoren benennen selbst die methodischen Schwächen der bisherigen Studienlage: hohe methodische Heterogenität zwischen den elf Arbeiten, überwiegend kleine Stichproben und – nicht zu unterschätzen – die kontinuierliche Weiterentwicklung der Plattform selbst. Ein heute evaluierter Modellstand kann sich morgen bereits verändert haben, was die Vergleichbarkeit und Aktualität von Studienergebnissen grundsätzlich einschränkt. Die Übersicht fordert deshalb explizit prospektive Real-World-Studien, standardisierte Evaluationsrahmen und fortlaufendes Benchmarking.

Praktische Einordnung für deutsche Praxen und Kliniken

Für die Entscheidung, ob und wie ein Tool wie OpenEvidence in Ihrem Arbeitsalltag eingesetzt werden sollte, ergeben sich aus der Übersicht mehrere konkrete Konsequenzen:

• Einsatzbereich bewusst wählen: Nutzen Sie solche Systeme vorrangig für Fragen mit klarer Leitlinienbasis – etwa Standardindikationen, Dosierungen oder Interaktionsprüfungen. Bei komplexen, atypischen oder multimorbiden Fällen sollte die Antwort als Ausgangspunkt, nicht als Entscheidungsgrundlage verstanden werden.
• Zitate stichprobenartig prüfen: Auch wenn die Fabrikationsrate niedriger ist als bei allgemeinen Sprachmodellen – "niedriger" bedeutet nicht "null". Eine gelegentliche Verifikation zentraler Quellenangaben bleibt sinnvoll, insbesondere bei Off-Label-Entscheidungen oder Haftungsfragen.
• Bestätigungstendenz reflektieren: Wenn ein Tool eher bestätigt als widerspricht, sollten Sie es aktiv auch zur Gegenprobe nutzen – etwa durch gezielte kritische Rückfragen statt nur bestätigender Fragestellungen.
• Deutsche/EU-Kontexte mitdenken: Die zitierten Studien und die 40-%-Nutzungsangabe beziehen sich auf den US-Markt. Für den Einsatz in deutschen Praxen sind zusätzlich Aspekte wie DSGVO-Konformität, die Einordnung als Medizinprodukt nach MDR sowie die Aktualität der zugrunde liegenden Quellen für den europäischen Leitlinienkontext zu prüfen – Fragen, die die vorliegende Übersicht nicht beantwortet, aber vor einer Einführung geklärt werden sollten.
• Kein Ersatz für klinisches Urteil: Die Übersicht selbst mahnt zur Vorsicht angesichts kleiner Stichproben und heterogener Methodik. Ein Tool, das gut evaluiert erscheint, ist noch kein Beleg für Sicherheit in jeder klinischen Situation.

Fazit

Die erste systematische Übersicht zu OpenEvidence zeichnet ein differenziertes Bild: verlässlich bei Leitlinienfragen, mit erkennbarem Vorteil gegenüber allgemeinen Chatbots bei der Zitatgenauigkeit, aber mit offenen Fragen bei komplexen Fällen und einer insgesamt noch dünnen, heterogenen Studienbasis. Für Praxen bedeutet das: ein vielversprechendes Werkzeug für klar umrissene Fragestellungen – aber kein Ersatz für die kritische fachliche Prüfung, gerade dort, wo es kompliziert wird.