Die Debatte um Desinformation blickt ja auf eine längere Geschichte zurück, was waren hier Meilensteine bzw. wie hat sich die Diskussion verändert?
Ich denke, der erste Meilenstein war zunächst die Begriffsbestimmung: Was ist jetzt Desinformation? Was unterscheidet Desinformation von Malinformation? Was unterscheidet Desinformation von Fake News? Das war eine stark politisierte Debatte, wo sich auch die Wissenschaft etwas „gegen“ die Politik durchsetzen musste oder auch gegen eine ideologische und auch teilweise populistische Verwendung von „Fake News“ als Kampfbegriff. Hier wurde geschaut, wie kann man Desinformation kennzeichnen und was kann man aktiv über Fact-Checking dagegen tun – vielfach ehrenwerte Versuche. Aber schnell wurde doch klar, so war dem Phänomen nicht zu begegnen.
Ich glaube, der nächste Meilenstein war die Verortung von Desinformation im Kontext von größeren kommunikativen Zusammenhängen – im Sinne von größeren Narrativen. Wie gehen Menschen tatsächlich mit Desinformation um und betten sie in ihre eigenen Weltbilder ein? Weg von der einzelnen Desinformation, die man erkennt oder nicht, hinein in den Nutzungskontext.
Und inzwischen sind wir natürlich getrieben durch die AI-Debatte. Ich meine die Frage, was verändert sich denn eigentlich strukturell dadurch, dass natürlich auch die Menschen, die strategisch Desinformation betreiben, diese Tools nutzen können.
Kann man das auch zeitlich zuordnen?
Die Corona-Epidemie ist hier zu nennen, maßgeblich war aber auch die erste Präsidentschaft von Donald Trump, wo es große Diskussionen um Desinformation gab.
Gerade während der Corona-Epidemie zeigten sich neue Allianzen zwischen Verschwörungsmythologen und Rechtspopulisten. Das hat sicherlich dem Ganzen nochmal einen Boost gegeben – einfach, weil die Politik da auf einmal genauer hingeschaut und deutlich gemacht hat, wie Desinformation im Kontext von Impfen natürlich auch politisches Handeln gefährdet und umgekehrt.
Und dann war sicherlich nochmal der Angriffskrieg Russlands auf die Ukraine ein wichtiger Punkt, weil da offensichtlicher geworden ist, wie systematisch dort auch Desinformation in größere Kommunikations- und Propagandastrategien eingebettet worden ist.
Und klar, durch die aufkommende AI-Diskussion hat natürlich das ganze Thema strukturelle Desinformation nochmal an Bedeutung gewonnen.
Wo lagen Deine Schwerpunkte in diesem Zusammenhang mit Blick auf die Forschung?
Wir haben eigentlich zunächst mal versucht, Desinformation zu erkennen und zu verstehen. Das war uns immer ein ganz wichtiger Punkt. Und wir haben tatsächlich in unserem ersten Projekt nachgezeichnet, was sind „Marker“ für Desinformation. „Wir“ meint ein Netzwerk von Forschenden, welches sich aus einem BMBF-Projekt ergeben hat – Katarina Bader (HdM Stuttgart), Nicole Krämer (Uni Duisburg-Essen), Gerrit Hornung von der Universität Kassel und Martin Steinebach vom Fraunhofer-Institut für Sicherheit in der Informationstechnik in Darmstadt.
Durch die intensive (Nach-)Recherche konnten wir dann auch sagen, was ist an einzelnen Beispielen professionell gemacht, was weniger und was lässt sich daraus ablesen. Es ging uns um die Verknüpfung mit populistischen Argumentationsmustern, um diese besser erkennen zu können. Wir haben uns dann im zweiten Projektschritt aber darauf verlagert, stärker zu schauen, wie wird Desinformation eigentlich in politische Narrative eingebunden und wie nutzen das Leute wirklich.
Es ging Euch um Wirkung?
Ja, am Anfang der Forschung war das schon so ein Punkt. Bei Inhaltsanalysen redet man ja immer von Wirkungspotenzialen. Wir haben dann aber tatsächlich auch Leitfadeninterviews mit Leuten geführt, die Telegram als Hauptnachrichtenquelle nutzen. Da konnten wir nachzeichnen, wie sie Desinformation in ihre Weltbilder einbetten. Wirkungspotenziale sind hier ja das eine, tatsächliche Aneignung dann aber nochmal etwas ganz anderes. Schnell haben wir gemerkt, dass etwa das „Flagging“ – als das Markieren – von einzelnen Informationen auch nur in bestimmten Zielgruppen Sinn macht oder eben auch nicht, wenn ich bspw. in anderen Zielgruppen unterwegs bin, wo ich merke, dass ein tiefes Misstrauen gegenüber Medien eigentlich schon zum Mindset gehört.
Die Bedeutung von KI für die Debatte um Desinformation ist jetzt schon angesprochen worden. In diesem Zusammenhang ist ein neuer Begriff aufgekommen: Data Poisoning (engl. für „Datenvergiftung“). Was verbirgt sich dahinter und wie können sich gerade journalistische Plattformen davor schützen?
Also bei Data Poisoning geht es im Grund darum, KI-basierte „Large Language Models“ (LLMs) zu manipulieren, indem man Stück für Stück Daten dort einspeist, die in eine bestimmte Richtung weisen. Das soll das Modell dazu bewegen, für die Nutzerinnen und Nutzer Inhalte zu generieren oder Fragen in einer Art und Weise zu beantworten, die genau diese strategische Richtung widerspiegeln und sie dadurch „vergiften“.
Das ist eigentlich die konsequente Fortführung einer Strategie, die man aus der analogen Zeit kannte: Es gab ja auch immer schon Fake-Forschungsinstitute, die auf den ersten Blick einen tollen Namen haben und so, bei näherer Betrachtung aber auf komplett unseriöse Quellen verweisen. Ihre Studien waren und sind nicht Ergebnis offener, methodengeleiteter Forschung, sondern zielen auf ähnliche Manipulationseffekte ab, um bestimmten Deutungen oder Themen Glaubwürdigkeit und Legitimation zu beschaffen. Dieser Vorgang oder auch Ansatz wurde jetzt verlagert, er passiert sozusagen innerhalb des „Models“, quasi im Maschinenraum. Was dann natürlich noch Effekte verstärken kann, die Large Language Models ohnehin haben, Stichwort: Bias. Und die natürlich dann ein Problem sind, wenn Nutzende naiv KI-Anwendungen als glaubwürdige Quelle akzeptieren.
Im Journalismus oder bei Journalistinnen und Journalisten sollte das allerdings nicht der Fall sein. Ich glaube, wenn sie professionell sind, bringen sie ja ohnehin den KI-Instrumenten eine gesunde Skepsis entgegen und schauen: Was kriege ich eigentlich raus, wenn ich mit KI recherchiere, wenn ich auch KI-Tools nutze? Wo kann ich das nochmal kritisch abgleichen mit Informationen, die ich auf eher klassischen Wegen recherchiert habe? Ich rede von der Kontextualisierung auch von KI-Tools in der Recherche oder in der Big-Data-Recherche, wenn man damit wirklich große Datenmengen selbst bearbeiten kann und will. Da existiert ja auch ein großes Potenzial, sollte man nicht vergessen.
Aber natürlich liegt es in der Natur der Sache, dass man am Ende nie so richtig weiß, was da passiert, denn die LLMs bleiben doch „Blackboxes“ für uns, allein schon durch ihre enormen Verarbeitungskapazitäten. Und das erfordert einfach, selbst wenn alle Menschen auf dieser Welt KI nach bestem Wissen und Gewissen einsetzen würden, eine gewisse Kontrolle und Gegenchecks. Und ich denke, durch „Data Poisoning“ ist die Gefahr nochmal erhöht, dass hier manipuliert wird.
Das heißt letztendlich, glaube ich, bleibt dem Journalismus nichts anderes übrig, als sehr kritisch zu schauen: Wer hat das LLM entwickelt? Wer hatte Möglichkeiten, darauf Einfluss zu nehmen? Man muss mit den Entwicklern sprechen und fragen, wie habt ihr es im Detail designt – so mühsam das klingen mag. Am Ende geht es darum, doch wieder mit den Menschen „dahinter“ ins Gespräch zu kommen, die die LLMs entwickeln und mit ihnen ein Gefühl zu entwickeln, wo sind vielleicht auch Schwachpunkte? Wir müssen uns klar machen, hinter all diesen LLMs stehen ja Institutionen, die die entwerfen und entwickeln, die die auch optimieren und immer wieder trainieren, so dass man ein Gefühl dafür kriegt, an welchen Stellen sind solche Modelle anfällig.
Wo siehst Du da die Hauptverantwortung?
Eine Frage ist ja zunächst mal, wer baut tatsächlich das Modell. Also ich finde, wenn sich jetzt bspw. eine große ARD-Anstalt dafür entscheidet, wir bauen sowas selbst, wir haben die Expertise und wir nehmen Open Source Tools für unsere Zwecke usw. – dann liegt die Verantwortung natürlich bei den Units innerhalb der Medienhäuser.
Aber in vielen Fällen ist es ja eher so, dass Medienhäuser auch nur Modelle nutzen, die große, global agierende Plattformen ihnen zur Verfügung stellen, und sie schneiden diese dann für ihre Zwecke bloß zu. Dann ist es für mich ein Plattformregulierungsthema – mit all den Schwierigkeiten: Zugänglichkeit, Nachvollziehbarkeit usw. Dann muss ich mir als demokratischer Staat überlegen, was sind da unsere Normen und wie setze ich sie durch. Dummerweise gelten dann dieselben limitierenden Faktoren, die ich auch habe, wenn ich Plattformregulierung im Bereich Jugendschutz oder sowas unternehme, bloß noch hochskaliert.
Gleichzeitig, denke ich, sind die Medienhäuser da nie ganz aus der Verantwortung. Man muss sicherlich mehr Zeit, als man vielleicht unbedingt im Alltagsgeschäft zur Verfügung hat, für das Testing ausgeben oder auch für das Monitoring von diesen Modellen. Was passiert da eigentlich? Entwickelt sich da was? Sehen wir Hinweise darauf, dass da ein Bias entsteht und dieser sich womöglich noch verstärkt oder auch nicht? Diese Vergleiche benötigen natürlich Ressourcen.
Das ist schon eine Riesen-Herausforderung für Medienunternehmen, wenn sie diese Tools einsetzen, eben diese Ressourcen bereit zu stellen. Und gibt man den Expertinnen und Experten, die man im Haus hat, auch genügend Raum? Oder sagt man, jetzt ist „quick and dirty“ angesagt, legt einfach mal los, wir wollen schnell Ergebnisse. Das ist eine Diskussion, die man aber sehr stark entlang am Einzelfall führen muss.
Du hast jetzt von gesellschaftlich-politischen Herausforderungen gesprochen, von Herausforderungen auf der Ebene der Institutionen, was ist mit der individuellen Ebene, also den Bürgerinnen und Bürgern?
Ich glaube, dass Bürgerinnen und Bürger entweder ein bestimmtes Vertrauen zu bestimmten Plattformen haben und dann aber technisch vielfach nicht in der Lage sind, „Data Poisoning“ oder andere Formen struktureller Desinformation wirklich nachzuvollziehen und schlichtweg deren Einfluss negieren. Hier ist dann politische Medienbildung gefragt, um ein Bewusstsein dafür zu wecken, mit den entsprechenden Modellen entsprechend umzugehen.
Über Plattformen und ihre Verantwortung haben wir bereits gesprochen. X, früher Twitter, verfolgt eine eigene Strategie zum Umgang mit Desinformation, sie experimentieren mit den sogenannten „Community Notes“ (kurz: Usern wird erlaubt, Anmerkungen zu Beiträgen zu machen, die als irreführend, falsch oder aus dem Zusammenhang gerissen betrachtet werden). Wie effektiv, glaubst Du, kann dieser Ansatz sein?
Ich glaube, das muss man auf mehreren Ebenen diskutieren. Die eine ist, selbst wenn ich so eine Community-Note habe, wirkt die hinreichend stark als Marker? Das ist eigentlich dieselbe Debatte wie beim „Flagging“ früher, wenn Fact-Checker irreführende Informationen markiert haben. Hier war die mir bekannte medienpsychologische Forschung immer schon skeptisch und hat immer wieder deutlich gemacht: Das käme quasi zu spät, verblasst und / oder verschafft Desinformation erst eine Aufmerksamkeit, die sie gar nicht verdient hat, und ist deshalb vom Prinzip her wenig wirkungsvoll.
Dann muss man ja bei Community Notes auch immer wieder im Kopf haben, dass dieser Ansatz ein Stück weit der Dynamik digitaler Kommunikation widerspricht, zumindest so, wie X das angeht. Sie geben erst im Nachhinein Bescheid, wenn Dinge qua „Community Notes“ kommentiert wurden und werden. Aber das entspricht ja nicht der üblichen Nutzungssituation: Eigentlich müsste es so sein: Jemand liest einen Tweet oder was auch immer, also eine Äußerung auf X, und baut die irgendwie in sein Weltwissen ein, glaubt sie oder auch nicht und empört sich dann, woraufhin direkt reagiert wird. Aber das Markieren und Kommentieren kommt ja erst viel, viel später und greift dann eigentlich nicht mehr. Dieser zeitliche Verzug ist das Problem, weil sich Informationen unter Umständen dann schon verankert haben.
Und dann kommt der dritte Punkt oder die dritte Ebene, die sich um die Unabhängigkeit der Community dreht … Es muss ja eine Community geben, die sich das eigentlich hochbefähigt anschaut, die mit den jeweiligen Kontexten gut vertraut ist und bereit und willig ist, dauerhaft zu investieren in Fact-Checking. Nur wo kommt die auf einmal her? Ich meine, dass das ganz gut klappen kann, sehen wir bei Wikipedia – bei allen ihren Problemen. Aber es ist in jedem Fall ein Riesenaufwand, damit am Ende diese „checks and balances“ funktionieren.
Da ist dann die Frage, wie viel Zeit investieren letztendlich die Plattformen in ihre Community-Pflege? Und wie ist das sozusagen „by Design“? Ich meine, X versucht ja auch ein „Balance-Score“ von Leuten zu etablieren, die dann sagen ja oder nein – einfach um ausgewogen zu bleiben. Am Ende geht es ja um die strategische Befähigung von echten Menschen, von Anhängerinnen und Anhängern, solche Tools zu nutzen.
Nur wenn bspw. rechtsextreme Parteien das Thema strategisch angehen und komplett einseitig markieren, was vermeintliche Desinformation sei, dann sind natürlich solche Instrumente wie „Community Notes“ hoch anfällig. Insofern sehe ich das skeptisch. Insbesondere bei X, glaube ich, wird das eher ein Feigenblatt sein, um zu zeigen: Leute, wir machen doch was.
Besteht aus Deiner Sicht die Gefahr, dass Community Notes auch selbst zum Instrument für Desinformation werden kann?
Ja, ich denke schon. Wir kennen das Prinzip von Kampagnen-Dynamiken – gegen Journalistinnen und Journalisten. Und dieselben Dynamiken können sich natürlich auch bei „Community Notes“ ergeben. Sie brauchen einfach ein gezieltes Community-Management, um das einzugrenzen, um das zu verhindern. Und dazu sind ja Plattformen in der Regel eben nicht bereit, weil sie sagen, das ist uns zu teuer.
Oder andersrum formuliert: Wenn sich eine Community findet, die sagt, ich bin bereit, Zeit zu investieren, um sowas immer wieder zu checken und zu bearbeiten, dann sollte man eigentlich auch glauben, dass diese Community-Power ausreichen würde. Aber dass wir mit dieser Utopie jetzt nicht ganz so weit kommen, sieht man ja an Plattformen, wie etwa Mastodon, die in ihrer Reichweite einfach begrenzt ist – trotz reichlich Fürsprache.
Schlussendlich müssen dieselben Leute, die dann „Community Notes“ machen, auf seriösen, vielfach kostenpflichten Journalismus zurückgreifen (können), damit sie ihre Arbeit irgendwie hinterlegen oder ihre eigene Expertise … Nur zeigen uns medienökonomische Daten ganz klar, dass diese Zahlungsbereitschaften einfach nicht da ist.
Und dann frage ich mich immer, wenn Leute noch nicht mal bereit sind, 10, 15 Euro im Monat für einen unabhängigen Journalismus auszugeben – bei der New York Times oder wo auch immer –, also warum sollen denn gerade diese Leute auf einmal unfassbar viel Zeit aufwenden in „Community Notes“? Ich lasse mich da gerne eines Besseren belehren, bleibe aber skeptisch.
Du bist selbst Hochschullehrer, arbeitest in der Ausbildung von Online-Journalistinnen und Journalisten. Was denkst Du, wie muss die Ausbildung von Medienschaffenden weiterentwickelt werden, um sie auf diese neuen Strategien der Desinformation vorzubereiten?
Also ich glaube, dass natürlich die Auseinandersetzung mit den technologischen Möglichkeiten eine größere Rolle als bisher spielen muss. In unserem Studiengang bspw. haben wir gerade einen neuen Kollegen berufen, der die entsprechende Expertise mitbringt und unsere Studierenden mit den technologischen Grundlagen vertraut macht. Er kann ein Gefühl dafür vermitteln, die entsprechenden Techniken sich selbst anzueignen, also in bestimmte IT-Netzwerke reinzugehen und das Programmieren zu erlernen.
Und es braucht darüber hinaus natürlich noch ein entsprechendes Strukturwissen – etwa zur Frage, welche Möglichkeiten haben Plattformen, wo sind da ökonomische Abhängigkeiten, wo sind Machtverhältnisse, wie kann man auch dagegen angehen? Wir versuchen unsere Studierenden quasi technologie-offen zu machen und gleichzeitig einem kritischen Blick auf die Limitationen der Technologie zu vermitteln.
Prof. Dr. Lars Rinsdorf ist Professor für Kommunikations-wissenschaft an der TH Köln und lehrt dort unter anderem im Studiengang Onlineredaktion.
Davor war er Gründer und Leiter des Studiengangs Crossmedia-Redaktion/PR an der Hochschule der Medien in Stuttgart sowie Leiter Forschung und Service bei der Saarbrücker Zeitung. Seine Forschungsschwerpunkte sind Innovationsmanagement in Redaktionen, Desinformation und journalistische Qualität. Er promovierte nach einem Studium der Journalistik an der TU Dortmund.