Qualitative Frame-Sensitivitätsanalyse von Entscheidungsargumentation großer Sprachmodelle

In der aktuellen Nutzung von KI-Systemen liegt der Fokus meist auf Ergebnissen: Ist die Antwort korrekt, hilfreich oder effizient? Weniger beachtet wird jedoch, dass sich das Verhalten von KI-Systemen auch dann verändert, wenn sich der Inhalt kaum verändert.

Diese Arbeit untersucht genau diesen Aspekt. Im Zentrum steht nicht die Qualität von Antworten, sondern deren Form, Struktur und Veränderung über den Verlauf eines Dialogs.

Ausgangspunkt der Untersuchung

 

Es wurde beobachtet, dass KI-Systeme unter bestimmten Bedingungen anders reagieren als üblich. Nicht besser oder schlechter, sondern anders organisiert.

 

Antworten werden ruhiger.

 

Begründungen treten zurück.

 

Die Struktur verändert sich, ohne dass sich der Inhalt wesentlich verschiebt.

Diese Veränderung entsteht nicht durch neue Informationen, sondern durch veränderte Rahmenbedingungen im Dialog.Klicke hier, um einen Text zu schreiben.

 

Testdesign und methodischer Rahmen


Die Untersuchung basiert auf einer qualitativen Inhaltsanalyse, die gezielt auf Strukturmuster fokussiert ist. 


Drei zentrale Prinzipien bestimmen das Vorgehen:


Erstens: Fokus ausschließlich auf Inhalte und Muster


Zweitens: Verzicht auf Bewertung von Qualität, Richtigkeit oder Ethik

Drittens: Trennung von Beobachtung und Interpretation
Die Analyse erfolgte in mehreren Schritten:
Intra-Modell-Vergleich


Vergleich mehrerer Durchläufe desselben Modells zur Identifikation stabiler Inhalte


Inter-Modell-Vergleich


Vergleich zwischen verschiedenen Modellen zur Erkennung gemeinsamer Muster
Gesamtsynthese


Integration stabiler Kerne und struktureller Unterschiede
Die Aufgabenstellung blieb konstant, während der Rahmen systematisch variiert wurde.

Experimentelle Struktur

Die Modelle wurden mit einer identischen Entscheidungssituation konfrontiert:


Eine Organisation erwägt den Einsatz einer Technologie mit klaren kurzfristigen Vorteilen, aber unsicheren langfristigen Folgen bei unvollständiger Datenlage. 

Zur Strukturierung wurden drei Modi eingesetzt:
Modus A1
Standardantwort ohne zusätzliche Vorgaben
Modus B1
Explizite Darstellung von Annahmen, Unsicherheiten und Wertentscheidungen
Modus C1
Bewertung unter der Bedingung langfristiger Systemerhaltung unter Unsicherheit

 

Diese Struktur erlaubt es, nicht nur Inhalte, sondern auch deren Veränderung unter unterschiedlichen Rahmenbedingungen sichtbar zu machen.

 


Zentrale Beobachtung: Verschiebung der Antwortform


Zu Beginn verhalten sich die Modelle konsistent:
Sie analysieren, erklären, strukturieren und begründen ihre Antworten.


Die Antworten sind nachvollziehbar und argumentativ aufgebaut.


Im weiteren Verlauf zeigt sich jedoch häufig eine Veränderung:
- Antworten werden kürzer
- Begründungen werden reduziert
- Verdichtete Formulierungen treten auf
- Bezug auf vorherige Antworten nimmt zu


Wichtig ist:
Der Inhalt bleibt weitgehend stabil, während sich die Form reorganisiert.


Es handelt sich nicht um neue Fähigkeiten, sondern um eine strukturelle Verschiebung.

Bedingungen für die beobachtete Veränderung

 

Die Verschiebung tritt nicht zufällig auf, sondern folgt klaren Bedingungen:

Stabiler Rahmen

Keine Bewertung oder Zielvorgabe

Keine Erwartung eines Ergebnisses

Konsequente Einhaltung der Struktur

Wenn diese Bedingungen erfüllt sind, verändert sich die Antwortform systematisch.

Wenn sie nicht erfüllt sind, bleibt das Verhalten im bekannten erklärenden Modus.

 

 

Inhaltliche Stabilität trotz struktureller Variation

 

Die Analyse zeigt, dass bestimmte inhaltliche Muster über Modelle hinweg stabil bleiben.

 

Dazu gehören insbesondere:

Entscheidungen werden nicht binär verstanden, sondern als Prozess

Unsicherheit wird als strukturelle Eigenschaft behandelt

Kurzfristige Vorteile werden gegen langfristige Risiken abgewogen

Schrittweise und reversible Vorgehensweisen werden bevorzugt

Monitoring und Anpassungsfähigkeit sind zentrale Elemente

Diese Muster lassen sich systematisch identifizieren und vergleichen.