AI Confederate: Methodologie und Validität

Ein AI-Conspirateur ist ein skript- oder modellgetriebener Agent, der für einen menschlichen Komplizen in Täuschungs-, sozialer Druck- und Verhandlungsparadigmen steht. Im Gegensatz zu einem ausgebildeten menschlichen Conspirateur kann sein Verhalten genau festgelegt, protokolliert und über jeden Teilnehmer hinweg exakt reproduziert werden, was das zentrale methodologische Argument für die Verwendung eines solchen darstellt und auch der Grund ist, warum er als Design-Entscheidung evaluiert werden muss, anstatt standardmäßig übernommen zu werden.

Diese Seite betrachtet AI als ein Werkzeug, das eine menschliche Rolle innerhalb eines ansonsten klassischen Paradigmas übernimmt: die AI ist das Instrument, nicht das, was gemessen wird. Das ist eine andere Frage als Studien, bei denen die AI selbst das Sujet der Untersuchung ist, was im FAQ unten behandelt wird.

Was zählt als ein AI-Conspirateur

Ein Conspirateur ist im klassischen Sinne jemand, der dem Teilnehmer als ein anderer Teilnehmer oder ein gewöhnlicher Interaktionspartner erscheint, aber tatsächlich nach einem Skript handelt, das der Experimentator kontrolliert, am bekanntesten aus Täuschungsparadigmen (ein falscher Mitteilnehmer in einer Konformitätsstudie), sozialer Druck-Paradigmen (ein Partner, der sich in einem Vertrauensspiel unkooperativ verhält) und Verhandlungs- oder Aushandlungsaufgaben (ein Gegenüber, dessen Angebote einem vorherbestimmten Muster folgen). Ein AI-Conspirateur übernimmt die Rolle dieses menschlichen Komplizen mit einem modellgetriebenen Agenten: Der Teilnehmer glaubt weiterhin, oder wird in den Glauben geführt, dass er mit einer anderen Partei an der Studie interagiert, aber die Antworten dieser Partei werden durch ein AI-System erzeugt oder skriptiert, anstatt von einem ausgebildeten menschlichen Schauspieler ausgeführt zu werden.

Dies ist kein neues experimentelles Design. Es ist ein alternativer Ansatz innerhalb von Designs, die bereits existieren, und das Feld hat bereits eine weniger technische Version desselben Gedankens: die eigene Dokumentation von Labvanced zu Multi-User-Studien beschreibt eine "virtuelle Gegner"-Strategie, bei der einem Teilnehmer gesagt wird, dass er gegen einen anderen Teilnehmer spielt, aber die andere Seite tatsächlich ein Algorithmus ist, der zufällige Entscheidungen trifft. Dieser Ansatz ist ein echter Vorfahre der AI-Conspirateur-Idee, aber ein begrenzter: ein Algorithmus für zufällige Entscheidungen kann keinen skriptbasierten Austausch unter sozialem Druck führen, verhandeln oder ein glaubwürdiges täuschendes Gespräch aufrechterhalten. Was generative AI hinzufügt, ist die Fähigkeit, natürliche, kontextabhängige Sprache zu erzeugen, und in einigen Designs auch Audio oder Bilder, anstelle der Live-Improvisation eines menschlichen Conspirateurs, was diesen Ansatz für Paradigmen, die ein zufälliger Auswahlalgorithmus nie unterstützen könnte, tragfähig macht.

Das Argument für einen AI-Conspirateur

Ein AI-Conspirateur ist kein vollwertiger Ersatz für einen menschlichen; es ist eine weitere tragfähige und in einigen Designs mächtigere Option. Vier Überlegungen sprechen dafür: Kontrolle, Replizierbarkeit, Ethik und Skalierbarkeit.

Kontrolle

Ein ausgebildeter menschlicher Conspirateur wird gebeten, ein festes Verhaltensprotokoll über jeden Teilnehmer hinweg zu reproduzieren: den gleichen Ton, den gleichen Widerspruch, das gleiche Timing eines Zugeständnisses in einer Verhandlungsaufgabe. In der Praxis driftet das Verhalten der Conspirateurs. Müdigkeit, Stimmung und die angesammelte Erfahrung beim Durchführen vieler Sitzungen führen alle zu Variationen, die der Forscher nicht designt hat, und diese Variation wird zu einer Störvariablen, weil sie mit der Zeit und der Reihenfolge der Sitzungen korreliert, anstatt mit der experimentellen Manipulation. Ein AI-Agent, der aus einer festen Eingabeaufforderung und einer festen Konfiguration generiert, ermüdet oder sammelt keine Sitzungserfahrung wie ein Mensch, was diese spezifische Quelle der Drift zwischen den Sitzungen beseitigt, obwohl sie ihre eigenen Konsistenzanforderungen mit sich bringt (siehe unten).

In Labvanceds Implementierung: dieselbe Send to OpenAI Konfiguration läuft unverändert für jede Sitzung in der Aufgabe, da es sich um eine feste Einstellung handelt und nicht um ein Protokoll, das eine Person jedes Mal aus dem Gedächtnis reproduzieren muss.

Replizierbarkeit

Das genaue Verhalten eines menschlichen Conspirateurs ist selten vollständig in einem Methodenteil spezifiziert. Selbst ein detailliertes Skript lässt Lücken, die ein menschlicher Schauspieler mit Urteil füllt, sodass ein anderes Labor, das versucht, die Studie zu replizieren, eine Annäherung an die ursprüngliche Leistung des Conspirateurs reproduziert, nicht die Leistung selbst. Eine dokumentierte Eingabeaufforderung, Modellversion und Generierungsparameter sind eine vollständige, tragbare Spezifikation: Ein anderes Labor kann die identische Konfiguration ausführen, anstatt einen neuen Schauspieler zu trainieren, um die ursprüngliche zu approximieren.

In Labvanceds Implementierung: Modellversion, Temperatur und die Eingabeaufforderung selbst werden direkt in der Aufgaben-Konfiguration gespeichert, sodass die vollständige Spezifikation, die dieser Abschnitt fordert, keine zusätzliche Dokumentationsarbeit ist, sondern das, was bereits gespeichert ist.

Ethik

Ein Teilnehmer mit einem lebenden menschlichen Komplizen zu täuschen, trägt eine ethische Last, die die meisten institutionellen Überprüfungen bereits erfordern, dass Forscher sie rechtfertigen und darüber informieren: Eine tatsächliche Person war in gewissem Sinne an der Täuschung beteiligt. Ein AI-generierter Conspirateur verändert die ethische Struktur dieser Anordnung, entfernt jedoch nicht die zugrunde liegende Täuschung im Studiendesign selbst, das weiterhin die gleiche Information und Handhabung von Einwilligungen erfordert, die jede Täuschungsparadigma erfordert. Dies mildert eine spezifische ethische Dimension der Verwendung von Conspirateurs; es macht Täuschungsparadigmen insgesamt nicht ethisch einfacher.

Skalierung

Online- und Fernstudien können weit mehr Teilnehmer rekrutieren, als eine einzelne Labsitzung jemals könnte, und das schafft ein Skalierungsproblem, das spezifisch für menschliche Conspirateurs ist: Jeder zusätzliche Teilnehmer benötigt eine weitere Conspirateur-Sitzung, sodass eine größere Stichprobe die Rekrutierung, Schulung und Planung von mehr Conspirateurs bedeutet, zusätzlich zu der Notwendigkeit, alle verhaltensmäßig konsistent zueinander zu halten, über die Drift innerhalb der Conspirateurs, die Kontrolle (oben) bereits abdeckt. Ein AI-Conspirateur hat dieses Problem nicht. Dieselbe Konfiguration läuft für den tausendsten Teilnehmer genau wie für den ersten, ohne zusätzliche Personal-, Ausbildungs- oder interkonspirative Konsistenzkontrollen. Das ist es, was einen AI-Conspirateur besonders gut für groß angelegte Online-Forschung geeignet macht.

In Labvanced's Implementierung: dieselbe Konfiguration des KI-Konföderierten läuft unverändert, ob eine Studie 20 Teilnehmer oder 2.000 erfasst, da es sich um eine Aufgabenstellung handelt, die mit der Stichprobengröße skalieren muss, anstatt um die Personalbesetzung.

Methodologische Überlegungen zur Nutzung von KI-Konföderierten

Die Einführung eines KI-Konföderierten ist keine Plug-and-Play-Entscheidung. Sie bringt eigene Entwurfsanforderungen mit sich, und das Überspringen dieser Anforderungen tauscht einfach einen Verwirrungsfaktor durch einen anderen aus.

Kontrolle des Verhaltens von KI als unabhängige Variable

Wenn die Reaktionen des KI-Konföderierten bei den Teilnehmern unvorhersehbar variieren, sei es im Tonfall, in der Kooperationsbereitschaft oder -unwilligkeit, in der Länge der Antworten, bringt die Studie genau die Art von unkontrollierter Variation zurück, die ein KI-Konföderierter entfernen soll. Die Integration von KI und psychologischer Forschung in Labvanced, die auf nativer OpenAI-Text-, Bild- und Audiogenerierung basiert, macht die spezifischen Parameter deutlich, die ein Forscher benötigt, um das Verhalten des Konföderierten als kontrollierte Variable statt als Annahme zu betrachten:

• Ein Model Version während der gesamten Studiendauer anheftet, sodass ein Anbieter-seitiges Modellupdate zwischen den Sitzungen das Verhalten des Konföderierten nicht mitten in der Studie ändern kann.
• Eine detaillierte system-Rollen-Nachricht, die über Insert Message festgelegt wird und die Persona und Verhaltensgrenzen des Konföderierten schriftlich festhält, anstatt sie dem Standardurteil des Modells zu überlassen: welches Sprachregister und welchen Slang die Teilnehmergruppe anspricht, wie weit das Bewusstsein für aktuelle Ereignisse reichen sollte und wie es reagieren sollte, wenn ein Teilnehmer direkt fragt, ob es sich um eine KI handelt.
• Temperature in Richtung des deterministischen Endes seines Bereichs festgelegt, um einen wie scriptmäßig anmutenden Konföderierten zu gewährleisten, da die Temperatur bestimmt, wie zufällig versus vorhersehbar die generierte Antwort ist.
• Max Tokens begrenzt, um die Antwortlänge bei den Teilnehmern konsistent zu halten, da ein uneingeschränkter Konföderierter stark variieren kann, wie viel er von einer Sitzung zur nächsten sagt.
• Für audio-basierte Konföderierte ein festes Voice und eine schriftliche Instructions (zum Beispiel, um eine neutrale, ruhige Präsentation zu spezifizieren), um den stimmlichen Ton bei den Teilnehmern konstant zu halten, anstatt ihn von Versuch zu Versuch variieren zu lassen.
• Ein verlinktes Chat History Dataframe, sodass der gesamte Austausch mit jedem Teilnehmer protokolliert wird und für eine nachträgliche Überprüfung verfügbar ist, dass der Konföderierte konsistent gehandelt hat, die gleiche Art von Prüfpfad, den eine Manipulationsprüfung für die Einhaltung des Skripts eines menschlichen Konföderierten bereitstellt.

Zusammen helfen diese Einstellungen, eine größere Konsistenz in der Leistung von genAI über Sitzungen hinweg sicherzustellen. Sie sind Hebel, die ein Forscher absichtlich betätigen muss, genauso wie eine menschliche Konföderiertenstudie ein Trainingsprotokoll und Überprüfungen der Inter-Sitzungs-Fidelität erfordert, anstatt davon auszugehen, dass ein Schauspieler ein Skript unassisted reproduzieren wird.

OpenAI Textbasierter Chat

Diese Vorlage richtet den Echtzeitkommunikationskanal zwischen Labvanced und OpenAI ein, auf dem jede auf dieser Integration basierende Konföderiertenstudie beruht. Verwenden Sie es als Ausgangspunkt und passen Sie die Eingabeaufforderung, das Modell und die Parameter an Ihr Paradigma an.

Hinweis: Für diese spezielle Demo ist die Tokenlänge (d. h. die Länge der Antwort) auf 100 gesetzt und die Temperatur (d. h. Kreativität) ist auf 1 gesetzt. Dies kann unter den Studieneinstellungen angepasst werden.

Eingabeaufforderungsdesign als Validitätsvariable

Die system-Rollen-Nachricht ist der Ort, an dem der Forscher die gesamte Verhaltenspolitik des Konföderierten von Hand schreibt: welches Sprachregister und welchen Slang er verwendet, wie weit sein Bewusstsein für aktuelle Ereignisse reicht und wie er reagiert, wenn ein Teilnehmer direkt fragt, ob er eine KI ist. Zwei Labors, die dasselbe Substitutionsexperiment mit verschiedenen Slangkalibrierungen, einem anderen Cut-off für aktuelle Ereignisse oder einer anderen vorgegebenen Antwort auf die KI-Frage durchführen, könnten bedeutend unterschiedliche Konföderiertenverhalten erzeugen, eine Form der Empfindlichkeit gegenüber Eingabeaufforderungen, die in der Forschung zu Sprachmodellen im Allgemeinen gut dokumentiert ist (Zhuo et al., 2024). Eine Studie, die feststellt, dass Teilnehmer anders auf einen KI-Konföderierten reagieren als auf einen menschlichen, könnte einen echten Substitutionseffekt erfassen, oder sie könnte ein ungenaues oder schlecht gestaltetes Prompt in einem dieser Dimensionen aufnehmen. Das Eingabeaufforderungsdesign als Variable zu behandeln, die berichtet und überprüft werden muss, anstatt als implementatorisches Detail, ist es, was diese beiden Erklärungen unterscheidbar macht.

In Labvanced's Implementierung: dies ist die system-Rollen-Nachricht, die über Insert Message festgelegt wird, einmal als Teil der Aufgabe gespeichert wird, anstatt sie für jede Sitzung neu einzugeben, was es ermöglicht, genau so zu berichten und zu prüfen, wie sie geschrieben ist.

Die gleiche Autorschaft eröffnet auch eine bewusste Nutzung: ein Forscher kann die Systemaufforderung über die Bedingungen hinweg als Manipulation selbst variieren, zum Beispiel einen kooperativen Konföderierten versus einen wettbewerbsorientierten Konföderierten in einer Verhandlungsaufgabe. Hier ist die Eingabeaufforderung selbst die unabhängige Variable, absichtlich über die Bedingungen hinweg variiert statt konstant gehalten, und die methodologische Hürde verschiebt sich entsprechend: Eingabeaufforderungsvarianten müssen sich nur entlang der beabsichtigten Dimension (kooperativ vs. wettbewerbsfähig) unterscheiden, anstatt zufällig in anderen (Länge, Formalität, Wortschatz), oder die Manipulation ist bereits vor Studienbeginn konfundiert. Eine Manipulationsprüfung, wie die Teilnehmer den Konföderierten tatsächlich entlang der beabsichtigten Dimension wahrgenommen haben, wird hier unerlässlich, so wie ein Pilotversuch bestätigen würde, dass die scripted Persona eines menschlichen Konföderierten wie beabsichtigt angekommen ist.

Paradigmenanpassung

Ein KI-Konföderierter eignet sich für Paradigmen, bei denen die Interaktion im Voraus spezifiziert oder aus einer begrenzten Menge an Antworttypen, Täuschungsszenarien, strukturierten sozialen Druckwechseln, Verhandlungs- und Handelsaufgaben mit einem definierten Angebotsspielraum generiert werden kann. Eine KI-Verhandlungsstudie ist hier eine der deutlichsten Anpassungen, da Angebote und Gegenangebote innerhalb eines definierten Rahmens liegen und keine offene Improvisation erfordern. Sie eignet sich weniger gut für Paradigmen, bei denen die Interaktion davon abhängt, dass der Konföderierte überzeugend außerhalb dieses begrenzten Raums improvisiert, oder wo die Täuschung spezifisch davon abhängt, dass der Teilnehmer glaubt, er habe es mit einem gleichgestellten menschlichen Kollegen in einem Kontext zu tun, in dem eine KI-Präsenz, einmal vermutet, die Manipulation vollständig zusammenbrechen würde.

In Labvanced's Implementierung: die Send to OpenAI-Aktion generiert die Seite des Konföderierten bei einer Täuschungs-, sozialen Druck- oder Verhandlungsaustausch innerhalb einer Einzelteilnehmerstudie. Der Konföderierte ist kein zweiter, real verbundener Benutzer, sodass der Aufbau dieser Paradigmen nicht die Multi-User-Infrastruktur von Labvanced erfordert, die Sitzung des Teilnehmers ist die einzige Live-Sitzung.

Die offene Validitätsfrage

Ob ein Teilnehmer, der von einem KI-gesteuerten Verbündeten getäuscht wird, sich auf die gleiche Weise verhält wie einer, der von einem menschlichen Verbündeten getäuscht wird, hat in einem Vertrauensspiel, einem Konformitätsparadigma oder einer Verhandlungsaufgabe noch nicht direkt getestet werden: Der Austausch ist neu genug, dass dieser direkte Vergleich einfach noch nicht durchgeführt wurde. Es ist plausibel, dass die Vermutung oder Entdeckung einer KI-Anwesenheit die sozialen Einsätze der Interaktion in Weisen verändert, die ein menschlicher Verbündeter nicht tut, was bedeuten würde, dass ein KI-Verbündeter eine Verwechslungsgefahr für ein anderes, KI-spezifisches Problem eintauscht, anstatt einfach eine Verwechslungsgefahr zu beseitigen. Ein rigoroser Einsatz eines KI-Verbündeten betrachtet dies als offene empirische Frage, die überprüft werden muss, beispielsweise durch eine Manipulationsüberprüfung, ob die Teilnehmenden korrekt glaubten, mit einem Menschen zu interagieren, anstatt eine Annahme, die durch das Design gelöst wird.

Häufig gestellte Fragen

Weiterführende Literatur

Arbeiten Sie an einem dyadischen oder Gruppeninteraktionsdesign und möchten den breiteren Kontext? Der dyadische Effekt in der psychologischen Forschung behandelt, wie die Anwesenheit einer anderen Partei das individuelle Verhalten in gepaarten Designs verändert, dasselbe Gebiet, in dem ein menschlicher oder KI-Verbündeter operiert. Ein verwandtes Muster zeigt sich immer dort, wo mehr als ein einfaches Paar beteiligt ist, behandelt in Forschung zu Teamdynamiken.

Wo ein Verhandlungs- oder Aushandlungsparadigma das Ziel-Design ist, ist die Ultimatumspiel-Aufgabenseite ein konkretes Beispiel für die Struktur des begrenzten Angebotsraums, die ein KI-Verbündeter gut generieren kann.