RUNPORT Studienreihe

Mehrere empirische Untersuchungen zum Verhalten großer Sprachmodelle

RUNPORT bündelt mehrere unabhängige Untersuchungen von AIReason zur Analyse von Entscheidungslogik, Wiederholungsverhalten und Strukturstabilität großer Sprachmodelle.

Was wurde untersucht?

  • identische Prompts über viele Durchläufe

  • Unterschiede zwischen Antworten

  • stabile Begründungslogiken

  • Entscheidungsvariabilität

  • Vergleich mehrerer Modelle

  • strukturelle Muster über Runs

Zentrale Ergebnisse:

  • identische Prompts führen nicht immer zu identischen Antworten

  • Begründungsstrukturen können dennoch stabil bleiben

  • Modelle zeigen eigene Entscheidungsprofile

  • Verhalten verändert sich durch Kontext und Rahmenbedingungen

Warum relevant?

Für Unternehmen, Forschung und Evaluation zeigt RUNPORT, dass Einzeltests oft nicht ausreichen. KI-Verhalten muss über Wiederholungen betrachtet werden.

RUNPORT I

Strukturelle Veränderungen in mehrstufigen Dialogen

Empirische Mehrlaufanalyse

RUNPORT II

Unterschiedliche Denk- und Begründungslogiken von KI-Modellen

Modellvergleichsstudie

RUNPORT III

Warum identische Probleme zu verschiedenen Entscheidungen führen

Entscheidungsstabilitätsanalyse

Erstelle deine eigene Website mit Webador