KI-Halluzinationen verseuchen die Wissenschaft – 147.000 Fake-Zitate

Fast 150.000 erfundene Quellenangaben in wissenschaftlichen Arbeiten: Eine Studie deckt auf, wie KI-Tools die Forschung kontaminieren – und warum bisherige Kontrollmechanismen versagen.

Große Sprachmodelle liefern plausible Antworten – die oft schlicht falsch sind. Was in Chatverläufen nervt, richtet in der Wissenschaft echten Schaden an.

Forscher der Cornell University und der University of California haben 111 Millionen Referenzen aus 2,5 Millionen wissenschaftlichen Artikeln durchleuchtet. Das Ergebnis: 146.900 gefälschte Zitate, die es in die Forschungsliteratur geschafft haben. Die Ursache liegt auf der Hand – Wissenschaftler übernehmen KI-generierte Quellenangaben, ohne sie zu prüfen.

Verseuchung statt Einzelfälle

Die gefälschten Referenzen verteilen sich über zahlreiche Arbeiten. Kein Ausrutscher einzelner Autoren, sondern systematische Kontamination. Die Fake-Zitate tauchten in den Datenbanken arXiv, bioRxiv, SSRN und PubMed Central auf – Plattformen, auf denen Forscher ihre Arbeiten vor der Veröffentlichung hochladen.

Die Studie zeigt: Viele Autoren verlassen sich blind auf KI-Vorschläge, statt die Existenz der Quellen zu verifizieren. Steinn Sigurdsson, wissenschaftlicher Direktor von arXiv, bringt es auf den Punkt: Der wissenschaftliche Korpus werde verwässert, vieles sei aktiv falsch oder bedeutungslos. Usha Haley, Professorin an der Wichita State University, warnt laut t3n, dass gefälschte Zitate das Vertrauen in die wissenschaftliche Literatur untergraben – die Grundlage für Peer-Reviews und kumulatives Wissen.

Plattformen reagieren – zu langsam

arXiv hat reagiert: Erstautoren brauchen jetzt Empfehlungen etablierter Forscher. Thomas Dietterich, Vorsitzender der Informatikabteilung, kündigte weitere Maßnahmen an. Wer nachweislich ungeprüfte KI-Inhalte einreicht, riskiert Sanktionen – einige Plattformen diskutieren temporäre Sperren. Kein generelles KI-Verbot, aber Autoren tragen die volle Verantwortung für ihre Werke. Das Problem: Die Maßnahmen greifen zu spät.

Gefälschte Zitate existierten schon vor ChatGPT – aber die Zahl nicht existierender Referenzen stieg nach 2023 deutlich an. Die Forscher verglichen die Daten vor und nach der Einführung großer Sprachmodelle. Das Ergebnis ist eindeutig: Nach der weitverbreiteten Einführung von LLMs stieg die Zahl nicht existierender Referenzen massiv an, so die Autoren in ihrer Studie.

Wer profitiert von Fake-Zitaten?

Die Studie deckt ein weiteres Problem auf: Halluzinierte Zitate bevorzugen bereits prominente, überwiegend männliche Forscher. KI-Tools verstärken bestehende Ungleichheiten in der wissenschaftlichen Anerkennung. Junge Wissenschaftler mit wenig Erfahrung nutzen KI-Tools besonders häufig – und produzieren dabei überproportional viele fehlerhafte Referenzen. Gleichzeitig steigt ihre Produktivität: Wer Fake-Zitate verwendet, veröffentlicht deutlich mehr als Kollegen ohne KI-Unterstützung.

Die Kontrollmechanismen versagen. Nur 21,2 Prozent der halluzinierten Zitate werden von Moderatoren oder Peer-Review-Prozessen abgefangen. 78,8 Prozent landen in der Fachliteratur. Selbst renommierte Journals sind betroffen – die Fake-Zitate verteilen sich über das gesamte Impact-Spektrum.

Business Punk Check

KI-Tools senken die Einstiegshürden für wissenschaftliches Publizieren – und öffnen damit die Schleusen für minderwertigen Output. Die Zahlen zeigen: Unerfahrene Forscher produzieren mit KI-Unterstützung mehr Papers, aber auch mehr Fehler. Das System belohnt Quantität statt Qualität. Wer schnell viel veröffentlicht, sammelt Reputation – auch wenn einige Zitate dabei erfunden sind. Die eigentliche Gefahr liegt tiefer: Halluzinierte Referenzen sind nur die Spitze des Eisbergs. Viel häufiger sind echte Zitate, die Behauptungen stützen sollen, die der Originaltext gar nicht hergibt.

Diese Fehler sind kaum zu erkennen – und werden von KI-Tools systematisch reproduziert. Die Modelle trainieren auf verseuchten Daten und verstärken das Problem mit jedem Update. Für Entscheider bedeutet das: Wer KI-Tools in der Forschung einsetzt, braucht strikte Verifikationsprozesse. Automatisierte Referenz-Checker sind ein Anfang, aber sie erfassen nur offensichtliche Fake-Zitate. Die härteren Fälle – falsch interpretierte oder aus dem Kontext gerissene Quellen – bleiben unentdeckt. Die Wissenschaft steht vor einer Wahl: Entweder sie entwickelt robuste Prüfmechanismen, oder sie akzeptiert eine schleichende Erosion ihrer Glaubwürdigkeit. Beides kostet – aber Nichtstun kostet mehr.

Wie können Forscher KI-generierte Fake-Zitate vermeiden?

Jede KI-generierte Referenz muss manuell verifiziert werden – durch Abgleich mit Datenbanken wie Google Scholar, Semantic Scholar oder direkt beim Publisher. Automatisierte Checker wie Citation Gecko oder Litmaps helfen, reduzieren aber nicht die Eigenverantwortung. Wer Zeit spart, indem er KI blind vertraut, riskiert seine Reputation.

Welche wissenschaftlichen Disziplinen sind am stärksten betroffen?

Sozialwissenschaften und Informatik zeigen die höchsten Raten an halluzinierten Zitaten – Bereiche mit besonders intensiver KI-Nutzung. Medizin und Biologie folgen, während Mathematik und Physik vergleichsweise weniger betroffen sind. Die Korrelation ist klar: Je mehr KI-Tools im Einsatz, desto höher die Fehlerquote.

Können Journals das Problem durch strengere Peer-Reviews lösen?

Nein. Die Studie zeigt, dass die große Mehrheit der Fake-Zitate den Peer-Review-Prozess überstehen und in publizierten Artikeln landen. Reviewer prüfen selten jede einzelne Referenz – dafür fehlt Zeit und Ressource. Automatisierte Prüftools müssten Standard werden, aber selbst die erfassen nur offensichtliche Fälle.

Welche langfristigen Folgen haben halluzinierte Zitate für die Wissenschaft?

Halluzinierte Referenzen werden von anderen Forschern zitiert und verbreiten sich exponentiell. Google Scholar indexiert sie als eigenständige Einträge, KI-Modelle trainieren auf den verseuchten Daten. Das Ergebnis: eine sich selbst verstärkende Feedback-Schleife, die das Fundament wissenschaftlicher Erkenntnis untergräbt.

Gibt es praxistaugliche KI-Tools ohne Halluzinationsproblem?

Nein. Selbst fortgeschrittene Modelle mit Retrieval-Augmented Generation produzieren weiterhin falsche Zitate. Die Halluzinationsrate variiert zwischen 19,9 und 91,4 Prozent – je nach Modell und Prompt. Bis KI-Systeme zuverlässig zwischen existierenden und erfundenen Quellen unterscheiden können, bleibt menschliche Verifikation unverzichtbar.

Quellen: t3n, Studie Cornell University