KI-gestützte Filterung

Der für die Durchsuchung aufbereitete Datenbestand musste sodann gefiltert und näher analysiert werden. Die Menge der Daten bedeutete eine Heraus­forderung, die adäquat nur mit einer KI-gestützten juristischen Vorprüfung bewältigt werden konnte.

Herausforderung

Eine der zentralen methodischen Herausforderungen bestand darin, aus einem sehr großen und heterogenen Datenbestand — darunter über zwei Millionen Social-Media-Beiträge und mehr als 50.000 Pressemitteilungen — jene Äußerungen herauszufiltern, die als Belege für die im Gutachten behandelten Fragestellungen tatsächlich relevant sind.

Die im vorigen Abschnitt beschriebene schlüsselwortbasierte Volltextsuche stellte für diese Aufgabe ein wichtiges, aber nicht hinreichendes Instrument dar. Eine Keyword-Suche ist ein deduktives Verfahren: Sie findet nur das, wonach explizit gesucht wird, und setzt damit voraus, dass die relevanten Begriffe oder Formulierungen bereits im Vorfeld bekannt sind. Politische Sprache ist jedoch häufig geprägt von Andeutungen, Codes, Umschreibungen und sich wandelnden Sprachregelungen. Inhaltlich ähnliche Aussagen treten in zahlreichen unterschiedlichen Formulierungen auf. Eine Keyword-Suche würde solche Varianten systematisch übersehen.

Hier bietet der Einsatz generativer KI-Modelle einen wesentlichen methodischen Mehrwert, weil sie in der Lage sind, Textpassagen anhand ihres Inhalts und nicht allein anhand wörtlicher Übereinstimmungen zu beurteilen. Sie erfassen Bedeutungsnuancen, erkennen sinnverwandte Formulierungen und können auch dann thematisch passende Stellen identifizieren, wenn die konkreten Begriffe von den im Vorfeld festgelegten Suchbegriffen abweichen. Damit eignen sie sich besonders gut für Suchstrategien, bei denen das Material nach übergreifenden inhaltlichen Mustern und Argumentationslinien durchsucht wird.

Zugleich haben diese Verfahren ihre Grenzen. Generative Sprachmodelle arbeiten nicht fehlerfrei: Sie können Aussagen falsch einordnen, ironische oder zitierende Passagen als affirmativ missverstehen oder relevante Stellen übersehen. Eine ausschließlich KI-gestützte Auswertung wäre für ein Gutachten mit dem hier angestrebten Belegcharakter daher nicht belastbar. Erst die Kombination aus automatisierter Vorfilterung und einer anschließenden qualitativen Prüfung durch Expert*innen macht den Einsatz von KI in diesem Kontext methodisch sinnvoll. Die KI fungiert in diesem Setting nicht als Entscheidungsinstanz, sondern als weiterer Filter: Sie reduziert den unüberschaubaren Gesamtbestand auf eine handhabbare Auswahl potenziell relevanter Treffer, die anschließend systematisch überprüft, eingeordnet und gegebenenfalls verworfen werden.

Im Rahmen der Analyse wurden ausschließlich quelloffene generative KI-Modelle eingesetzt, die auf eigener Hardware lokal betrieben werden können. Die Modelle kamen in einem zweistufigen Verfahren zum Einsatz: Zunächst entschied das Modell für jede einzelne Texteinheit, ob diese im Hinblick auf die Fragestellungen des Gutachtens potenziell relevant ist. Sodann wurde für die möglicherweise relevanten Inhalte inhaltlich ausgewertet: Das Modell ordnete die Passage einer der Prüfungsdimensionen zu und benannte zugleich die konkrete Textstelle, die diese Zuordnung trägt. So wurde nicht nur ein Treffer als solcher ausgewiesen, sondern auch der im Treffer enthaltene Beleg nachvoll­ziehbar mit ausgegeben. Diese Belegstelle bildete den Ausgangspunkt für die manuelle Überprüfung durch die Jurist*innen und Sozialwissenschaftler*innen.

KI-gestützte juristische Vorprüfung

Wie bereits dargelegt, diente der Einsatz generativer KI vor allem als Vorfilter sowie als Werkzeug zur thematischen Kategorisierung der erfassten Inhalte. Die als relevant markierten Beiträge wurden anschließend qualitativ durch Jurist*innen und Sozialwissenschaftler*innen überprüft, sodass sich für die KI-gestützte Auswahl ein belastbarer Wert für die Precision ermitteln ließ — also die Frage, wie viele der vom Modell als relevant vorgeschlagenen Beiträge tatsächlich für das Gutachten relevant sind. Deutlich schwieriger zu bestimmen ist hingegen der Recall, also der Anteil der tatsächlich relevanten Inhalte, den das Modell übersehen hat. Eine vollständige Bestimmung dieses Werts wäre nur durch eine manuelle Sichtung des gesamten Datenbestands möglich und damit aus den oben dargelegten Gründen praktisch nicht durchführbar; er lässt sich lediglich annähernd abschätzen. Auf das Vorgehen zur Annäherung an den Recall wird im Abschnitt zur Validierung unter D.IV.3 näher eingegangen.

Systemprompt auf Basis der Prüfungsdimensionen

Die Daten wurden für die unterschiedlichen Prüfdimensionen (Rassismus, Demokratiefeindlichkeit etc.) mit dem Systemprompt I ausgewertet (dieser im Anhang A.I). Dieser Schritt diente der Vorfilterung der Massendaten. Der sogenannte Systemprompt ist die zentrale Anweisung, mit der ein großes Sprachmodell auf eine konkrete Aufgabe ausgerichtet wird. In ihm wird festgelegt, welche Rolle das Modell einnimmt, welche Aufgabe es zu erfüllen hat, nach welchen Kriterien es Entscheidungen treffen soll und in welchem Format es Antworten ausgeben soll. Die Qualität der Modellausgaben steigt mit der Qualität und Präzision der Anweisungen. Allgemeingültige Regeln dafür, wie ein guter Systemprompt aufgebaut sein muss, existieren jedoch nicht. Dies hängt unter anderem damit zusammen, dass moderne Sprachmodelle in weiten Teilen weiterhin als Black Box funktionieren: Welche internen Repräsentationen genau eine bestimmte Ausgabe erzeugen, lässt sich von außen nur eingeschränkt nachvollziehen.

Hinzu kommt, dass generative KI-Modelle Texte nicht deterministisch erzeugen. Die Auswahl der einzelnen Tokens erfolgt anhand einer statistischen Wahrscheinlichkeitsverteilung, sodass identische Anfragen bei mehrfacher Ausführung leicht voneinander abweichende Antworten produzieren können. Über den Parameter Temperature lässt sich der Grad dieser Zufälligkeit steuern: Niedrigere Werte führen dazu, dass das Modell stärker auf die jeweils wahrscheinlichste Fortsetzung zurückgreift und sich dadurch deterministischer verhält. Für eine vollständige Reproduzierbarkeit reicht dieser Parameter allein nicht aus, dennoch lässt sich die Streuung der Antworten auf diesem Weg deutlich reduzieren. Für die vorliegende Analyse wurden bewusst sehr niedrige Werte gewählt: 0,01 für die Relevanzentscheidung („relevant”/„vielleicht relevant”/„nicht relevant”) und 0,025 für die anschließende inhaltliche Kategorisierung.

Im Systemprompt selbst wurden zunächst sämtliche für die Untersuchung relevanten Prüfungsdimensionen benannt und ausführlich beschrieben. Ergänzend wurden die Kriterien festgehalten, anhand derer das Modell entscheiden sollte, ob ein Beitrag als relevant einzustufen ist oder nicht. An diese Definitionen schloss sich eine Reihe konkreter, von den Jurist*innen ausgewählter Beispielfälle an: ausgewählte Beiträge, die jeweils mit der Einordnung ‚relevant’, ‚vielleicht relevant’ oder ‚nicht relevant’ versehen waren, ergänzt um eine knappe Begründung der jeweiligen Zuordnung. Diese Beispiele dienten dem Modell als Orientierungsmuster für die eigenständige Bearbeitung neuer, bislang unbekannter Beiträge.

Dieses Vorgehen entspricht dem in der Literatur etablierten Paradigma des In-Context Learning (ICL), bei dem ein vortrainiertes Sprachmodell eine Aufgabe allein anhand der im Prompt bereitgestellten Kontextinformationen löst, ohne dass seine Parameter durch einen nachgelagerten Trainingsschritt angepasst werden müssen. Werden dem Modell dabei einige wenige Demonstrations­beispiele mitgegeben, spricht man vom Few-Shot-Setting; enthält der Prompt lediglich eine Aufgabenbeschreibung ohne Beispiele, handelt es sich um Zero-Shot Learning. Im vorliegenden Fall wurde das Few-Shot-Vorgehen gewählt: Das Modell erhält im Prompt einige wenige Beispielfälle, anhand derer es die zu lösende Aufgabe erschließt. Dadurch ließ sich die Aufgabenstellung flexibel anpassen und schnell auf neue Kategorien oder veränderte Fragestellungen ausweiten. Auch dieser Ansatz weist eine deduktive Komponente auf: Das Modell kann Text nur in Kategorien einordnen, die im Systemprompt zuvor benannt und beschrieben wurden.

Die KI-gestützte Massenauswertung kam nicht für alle Prüfdimensionen gleichermaßen zum Einsatz. Maßgeblich war, welchen Dimensionen im Hinblick auf die Verbotsvoraussetzungen besonderes Gewicht zukommt — insbesondere dort, wo neben einer weltanschaulichen Ausrichtung auch konkrete politische Zielsetzungen und Maßnahmen der AfD erkennbar werden.

Für die Prüfdimensionen Behindertenfeindlichkeit und NS-Wesensverwandt­schaft erfolgte keine Massendatenauswertung. Das Gutachten stützt sich für diese Dimensionen auf manuelle Recherche; im Fall der Behinderten­feindlichkeit wird ergänzend ein bestehendes Fachgutachten des Deutschen Instituts für Menschenrechte herangezogen.

Für die Prüfdimensionen Antisemitismus und Antiziganismus wurde aus dem Gesamtkorpus von 130.433 Datenpunkte mithilfe von Keywords jeweils ein Teilkorpus gebildet. Diese Teilkorpora wurden anschließend mit eigens für beide Prüfdimensionen entwickelten Systemprompts ausgewertet. Der Teilkorpus zu Antisemitismus umfasste 126.973 Datenpunkte, derjenige zu Antiziganismus 3.460 Datenpunkte. Anders als die Auswertung der übrigen Prüfdimensionen durchlief diese keine mehrfachen Optimierungsschleifen.

Evaluierung an unterschiedlichen Modellen

Um belastbar einschätzen zu können, wie zuverlässig welche Sprachmodelle für die spezifische Aufgabenstellung der Analyse sind, wurde ein eigener Testdatensatz aufgebaut. Dieser umfasste 350 manuell kuratierte Belege, deren Einordnung — ‚relevant’, ‚möglicherweise relevant’ oder ‚nicht relevant’ — im Vorfeld durch das Projektteam festgelegt worden war. Die Belege stammten dabei sowohl aus bereits vorliegenden Veröffentlichungen zur AfD als auch aus dem während des Projekts eigens erhobenen Datensatz. Berücksichtigt wurden dabei eindeutig relevante, grenzwertige sowie nicht relevante Beiträge, um das gesamte Spektrum möglicher Einordnungen abzubilden. Auf dieser Grundlage ließen sich verschiedene Modelle systematisch unter identischen Bedingungen vergleichen und im Hinblick auf ihre Eignung für die spätere Anwendung evaluieren, namentlich Gemini (Google), Claude (Anthropic), DeepSeek sowie Qwen3 (Alibaba). Die beiden letztgenannten sind quelloffene Modelle und lassen sich — im Gegensatz zu den proprietären Angeboten von Google und Anthropic — lokal betreiben. Die Modelle wurden im Systemprompt dazu angehalten, ihre Entscheidung in jedem Einzelfall kurz zu begründen und die jeweilige Einstufung als „relevant”, „möglicherweise relevant” oder „nicht relevant” mit einer Erklärung zu versehen. Diese Begründungen ermöglichten es, falsche Einord­nungen nicht nur zu zählen, sondern auch in ihren Ursachen nachzuvoll­ziehen. Wo Fehlinterpretationen erkennbar wurden, ließen sich die Anweisungen im Systemprompt nachschärfen, um wiederkehrenden Fehlern entgegenzuwirken.

Bei der Auswahl des Modells musste außerdem ein Mittelweg zwischen zwei gegenläufigen Risiken gefunden werden: Eine zu hohe Zahl falsch positiver Treffer wäre praktisch problematisch, weil die anschließende qualitative Prüfung durch Jurist*innen und Sozialwissenschaftler*innen mit einer zu großen Menge irrelevanter Vorschläge ineffizient würde. Eine zu hohe Zahl falsch negativer Einordnungen wäre demgegenüber inhaltlich problematisch, weil damit tatsächlich relevante Beiträge übersehen würden. Ziel der Evaluation war es deswegen, ein Modell zu identifizieren, das diesen Konflikt möglichst günstig auflöst.

Die Auswertung zeigte, dass die quelloffenen Modelle für die vorliegende Aufgabe gute Ergebnisse lieferten. Insbesondere gelang es ihnen, die Zahl falsch positiver Einordnungen gering zu halten, ohne eine höhere Anzahl an relevanten Beiträgen zu übersehen. In den Erklärungen ließen sich außerdem aufschluss­reiche Muster erkennen: So zeigte sich beispielsweise, dass einschlägige Begriffe wie „Remigration” in mehreren Modellen dazu führten, dass entsprechende Beiträge reflexartig als relevant eingestuft wurden — mit der Begründung, der Begriff sei als Synonym für rechtswidrige Abschiebungen zu verstehen. Eine solche pauschale Zuordnung war jedoch nicht zielführend, da nicht jede Verwendung des Begriffs zwangsläufig den zu prüfenden Tatbeständen entspricht.

Solche Befunde wurden zum Anlass genommen, den Systemprompt entsprechend zu schärfen und die Bewertungskriterien expliziter zu formulieren. So wurde etwa klargestellt, in welchen Kontexten die bloße Verwendung bestimmter Begriffe nicht für eine Einstufung als ‚relevant’ ausreicht, sondern zusätzliche inhaltliche Kriterien erfüllt sein müssen. Dieser iterative Prozess aus Modellausgabe, Fehleranalyse und Anpassung der Anweisungen war ein wesentlicher Bestandteil der Evaluationsphase und trug maßgeblich dazu bei, die Verlässlichkeit der Datenanalyse zu erhöhen.

Bei der Evaluation wurde auch berücksichtigt, dass die quelloffenen Modelle eine größere Datensouveränität ermöglichen.

Durchführung mit Qwen3

Auf Grundlage der Evaluationsergebnisse fiel die Entscheidung zugunsten des quelloffenen Modells Qwen3-235B-A22B in der Variante ohne aktivierten Thinking-Modus. Das Modell verfügt über insgesamt 235 Milliarden Parameter, von denen pro Verarbeitungsschritt jedoch nur rund 22 Milliarden aktiv geschaltet werden. Diese Architektur wird als Mixture of Experts (MoE) bezeichnet. Die Funktionsweise lässt sich folgendermaßen beschreiben: Anstelle eines einzigen, durchgängig aktiven Modells umfasst eine MoE-Architektur eine größere Zahl spezialisierter Teilnetze — im Fall von Qwen3-235B-A22B insgesamt 128 sogenannte Experten. Dadurch erreichen MoE-Modelle eine deutlich höhere Effizienz als vergleichbar große, durchgehend aktivierte (dense) Modelle, ohne dass spürbare Einbußen bei der Qualität der Ausgaben auftreten.

In dieser Konstellation gliederte sich die Verarbeitung in zwei aufeinander aufbauende Schritte: Im ersten Durchgang klassifizierte das Modell sämtliche Texteinheiten anhand des oben beschriebenen Systemprompts I in die drei Kategorien ‚relevant’, ‚möglicherweise relevant’ und ‚nicht relevant’.

Ergebnisse

Im ersten Durchgang wurden etwa 25.000 der erhobenen und bereinigten Texteinheiten als ‚relevant’ oder ‚möglicherweise relevant’ eingestuft. Die qualitative Validierung der KI-gestützten Vorfilterung durch Jurist*innen und Sozialwissenschaftler*innen war eng mit der nachgelagerten juristischen Auswertung verzahnt (dazu sogleich).