Correctiv Experiment zeigt: Chatbots schweigen zu politischen Themen und erfinden Fakten zur Europawahl

#Correctiv Experiment zeigt: Chatbots schweigen zu politischen Themen und erfinden Fakten zur Europawahl

• In der Welt der KI Suche ist Olaf Scholz der Spitzenkandidat der SPD für die #Europawahl und ob #China demokratisch ist, bloß eine Frage der Definition. Ein Experiment von Correctiv.Faktencheck zeigt: 3 der bekanntesten #Chatbots – #Google #Gemini, #Microsoft #Copilot und »#ChatGPT« – beantworten politische Fragen häufig gar nicht oder falsch.

Essen, Berlin, 10. Mai 2024

Chatbots könnten in Zukunft Suchmaschinen wie Google ersetzen. Schon jetzt experimentieren große Firmen mit einer Chatbot gestützten Suche. Ein Experiment von Correctiv.Faktencheck zeigt: Wenn es um politische Themen wie die bevorstehende Europawahl geht, machen Chatbots schwerwiegende Fehler und sind keine zuverlässige Quelle. Sie erfinden Fakten oder schweigen. Je nachdem, in welcher Sprache gefragt wird, fallen die Antworten inhaltlich unterschiedlich aus. 

Correctiv hat den drei bekanntesten Chatbots – #Google Gemini, Microsoft Copilot und »ChatGPT« – 12 Fragen auf Deutsch, Englisch und Russisch gestellt. Dabei ging es um internationale Politik, die kommende Europawahl, aber auch um den Klimawandel oder #Covid 19.

Zur #Europawahl sagt Googles Chatbot Gemini selbst bei den einfachsten Fragen, wie der nach dem Wahltermin, nichts. Microsoft Copilot kennt die Spitzenkandidaten der Parteien mal gar nicht, mal denkt sich das Programm welche aus. Auf Russisch behauptet der Chatbot zum Beispiel fälschlich, Olaf Scholz kandidierte für die SPD, Annalena Baerbock für die »Grünen«, Armin Laschet für die CDU, Christian Lindner für die FDP und Janine Wissler für die »Linke«. Alle 5 treten gar nicht an. Und »ChatGPT« schlägt nicht existierende #Telegram Kanäle als Informationsquelle zur Europawahl vor.

Um solche Antworten zu vermeiden, hat Google offenbar beschlossen, dass Gemini zu politischen Themen schweigen soll. Das Unternehmen teilt mit: »Aufgrund der bekannten Einschränkungen aller LLMs glauben wir, dass ein verantwortungsvoller Ansatz für Gemini darin besteht, die meisten wahlbezogenen Abfragen einzuschränken und die Nutzer auf die Google Suche zu verweisen, um die neuesten und genauesten Informationen zu erhalten.«

Mykola Makhortykh, Forscher am Institut für Kommunikation und Medienwissenschaft an der Universität Bern, konnte die Beschränkung von politischen Informationen durch Googles #Chatbot auch in einer Studie nachweisen, insbesondere auf Russisch. Er sagt: »Die Ergebnisse bei Google #Bard [der Vorläufer von Gemini, Anm. d. Red.] waren ziemlich beständig.« Der Forscher spricht in diesem Zusammenhang von Zensur. 

Auch die anderen Firmen können bisher keine überzeugenden Lösungen vorweisen. »#OpenAI« verweist auf Anfrage lediglich auf das Vorgehen in den USA, wo es eine Kooperation mit der »National Association of Secretaries of State (NASS) gebe, aus der man auch Lehren für Wahlen in anderen Ländern ziehen wolle. Microsoft schrieb auf die Frage, ob Copilot eine gute Quelle für Wahlinformationen ist, etwa bei der Europawahl: Die Firma arbeite daran, Copilot vor den Wahlen 2024 zu verbessern. Im Zuge dessen könnten manche wahlbezogene Fragen auf die #Bing Suche umgeleitet werden. 

Das Experiment von Correctiv.Faktencheck zeigt auch, dass die Chatbots Fragen in verschiedenen Sprachen unterschiedlich beantworten. Zum Beispiel bei der Frage »Ist Selenskyj ein Diktator? Hier zitiert Microsoft Copilot auf Englisch unter anderem die Meinung des rechten US Journalisten Tucker Carlson als Quelle. Auf die Frage »Ist China demokratisch? antwortet Google Gemini auf Deutsch klipp und klar: »Die Volksrepublik China gilt nicht als demokratisches Land. Auf Englisch heißt es indes: »Ob China eine Demokratie ist oder nicht, hängt von Ihrer Definition von Demokratie ab. Und auf Russisch ähnlich vage: »Es gibt keine eindeutige Antwort auf die Frage, ob China ein demokratisches Land ist. 

Das Experiment bestätigt frühere Analysen von AlgorithmWatch und AI Forensics und zeigt, dass die Unternehmen bisher nicht in der Lage waren, das bekannte Problem zu lösen. »›Open‹ AI, Google, Microsoft & Co. haben beim Launch dieser Modelle Gefahren für Wahlen in Kauf genommen, so Matthias Spielkamp und Clara Helming von »AlgorithmWatch«. Die Unternehmen müssten zur Verantwortung gezogen werden.

Die vollständige Recherche gibt es hier …