Test: KI-Chatbots nach sechs Tagen meist auf veraltetem Stand
In einem Test gaben KI-Programme sechs Tage nach einem Parteibeschluss meist einen veralteten Stand wieder, obwohl sie Nachrichtenseiten als Quelle angaben.
Vom 17. bis 25. Oktober hat aclipp, eine Plattform für PR-Analysen, sieben KI-Programmen jeden Tag dieselben zwölf Fragen gestellt. Darunter waren ChatGPT, Gemini, Copilot und Perplexity. Alle Fragen betrafen ein einziges Thema: die Gespräche von SPD, Grünen und Linken über eine gemeinsame Landesregierung in Berlin.
Am 19. Oktober stimmten ein Parteitag der Grünen und der Landesvorstand der Berliner SPD zu, offiziell über ein Regierungsbündnis zu verhandeln. Am Tag danach gaben 55 Prozent der Antworten diesen neuen Stand richtig wieder, am 25. Oktober nur noch 39 Prozent. Knapp jede zehnte Antwort enthielt außerdem einen Fehler, meist ein falsches Datum oder eine falsch zugeordnete Partei.
KI-Programme kennen nur Texte, die bis zu einem bestimmten Stichtag gesammelt wurden. Für Neueres suchen viele von ihnen im Internet, fassen die gefundenen Artikel zusammen und nennen sie als Quelle. Am 25. Oktober berief sich fast jede zweite Antwort auf zwei Berichte der Tagesschau-Internetseite vom 17. Oktober. Sie waren zwei Tage vor dem Beschluss erschienen. Nur zwei Prozent der Antworten nannten einen Tagesschau-Bericht über den Beschluss selbst.
Stellte man einem Programm am selben Tag zweimal die gleiche Frage, nannte in 18 Prozent der Fälle nur eine der beiden Antworten den Beschluss. Das KI-Programm Claude hat bewertet, ob die Antworten stimmten. aclipp hat 30 dieser Urteile von Hand nachgeprüft, und 29 davon waren richtig.