Das übergeordnete Ziel war die Entwicklung einer digitalen Plattform, mit der Artikel von Newsportalen strukturiert aufbereitet werden können und mittels KI-basierten Hilfsmitteln bei der Erkennung von Fakenews unterstützen. So könnten zukünftig einzelne Artikel durch das Analysetool geschickt werden und User bekommen u. a. eine (auch grafisch umfangreiche) Einschätzung, ob der Artikel eher Online-Artikeln aus glaubwürdigen Quellen oder eher Artikeln aus nicht glaubwürdigen Quellen ähnelt, eher meinungsbasiert ist oder es sich um eine klassische Nachrichtenmeldung handelt.

Die Wissenschaftlerinnen und Wissenschaftler von FOKUS in Kooperation mit den Projektpartnern Ubermetrics Technologies GmbH und Trustami GmbH konzentrierten sich dabei auf Artikel rund um Gesundheitsthemen und zwar im Speziellen zu den Themen »COVID-19« oder »MPox«. Dabei wurde zunächst ein Modul zur Extrahierung des Textes entwickelt. Dies ist ein durchaus komplexes Unterfangen, da Newsartikel oft Artefakte wie Werbetexte, Bildunterschriften etc. enthalten. Darüber hinaus wurden verschiedene Komponenten entwickelt, die den Artikel nach unterschiedlichen Kriterien bewerten.

Geht man auf die Startseite des Demonstrators, so findet man dort vier mit KI-Technologie auf Basis des Large Language Models (LLM) generierte Artikel, um die Funktionsweise aufzeigen zu können. Die Methode der KI-generierten Testartikel wurde aus rechtlichen und vor allem urheberrechtlichen Gründen gewählt. Die Grundlage für die Beurteilung, ob der Artikel eher Online-Artikeln aus glaubwürdigen Quellen oder eher Artikeln aus nicht glaubwürdigen Quellen ähnelt, ist ein KI-Transformer-Modell, das im Hinblick auf die genannten Merkmalsbereiche mit Hilfe umfangreicher Trainingsdaten - u.a. auf Basis des FANG-COVID-Datensatzes - vortrainiert wurde. Zur Einschätzung der Glaubwürdigkeit der Artikel-Quellen der Trainingsdaten wurde das NewsGuard-Rating herangezogen. Die externe NewsGuard-Bewertung für die Vertrauenswürdigkeit der Artikel-Quelle kann ebenfalls eingesehen werden.

Weitere Bewertungskriterien umfassen „Sprache und Stil“, „Klassifizierung Meinung vs. Nachrichtentext“, eine Claim-Detection zur Erkennung von Sätzen im Artikeltext, die „Covid-19-Behauptungen“ enthalten sowie eine Polaritätsanalyse zur Einschätzung der Stimmung auf Satzebene (positive, neutrale oder negative Stimmung). In zwei Säulendiagrammen werden je nach Medientyp die Artikel angeführt, die zum einen auf den analysierten Artikel verweisen (inlink) und zum anderen auf die der analysierte Artikel selbst verweist (outlink).

Durch eine qualitative und quantitative Analyse konnten folgende Hauptaussagen getroffen werden:

Der Wahrheitsgehalt eines Artikels ist sehr schwer bewertbar. Die Empfehlung der Expertinnen und Experten ist deshalb, mit der Grundlagen der extrahierten Kernaussagen nach entsprechenden Passagen, beispielsweise Zitaten oder wissenschaftlichen Abhandlungen zu suchen, aber auch nach Verordnungen, Richtlinien oder Gesetzen und diese nach Faktizität abzugleichen.

Die Provenienz und die Verbreitung sind wichtige Kriterien bei der Einschätzung der Glaubwürdigkeit eines Artikels. Viele Benutzer bewerten die Verlässlichkeit einer Meldung stark nach der Quelle oder dem Verbreitungs-Medium, also ist beispielsweise die Meldung über eine Social-Media-Plattform verbreitet worden oder kommt die Nachricht von einem (seriösen) Newsportal. Auch die Meinungsstärke ist ein vielversprechendes Kriterium für die Einschätzung von manipulativen Texten.