AI Vertrauter: Methodik und Validität

Ein AI Vertrauter ist ein skriptgesteuertes oder modellbasiertes Agent, der als Ersatz für einen menschlichen Komplizen in Täuschungs-, sozialen Druck- und Verhandlungsparadigmen dient. Im Gegensatz zu einem geschulten menschlichen Vertrauten kann sein Verhalten genau spezifiziert, protokolliert und reproduziert werden, was das zentrale methodologische Argument für die Nutzung eines AI Vertrauten darstellt, und auch der Grund, warum er als Designentscheidung evaluiert werden muss, anstatt standardmäßig übernommen zu werden.

Diese Seite betrachtet AI als ein Werkzeug, das eine menschliche Rolle innerhalb eines ansonsten klassischen Paradigmas einnimmt: Die AI ist das Instrument, nicht das, was gemessen wird. Das ist eine andere Frage als Studien, in denen die AI selbst das untersuchte Subjekt ist, was im FAQ-Bereich unten behandelt wird.

Was gilt als ein AI Vertrauter

Ein Vertrauter ist im klassischen Sinne jemand, der dem Teilnehmer als ein anderer Teilnehmer oder ein gewöhnlicher Interaktionspartner erscheint, aber tatsächlich auf einem vom Versuchsleiter kontrollierten Skript handelt, was man am besten aus Täuschungsparadigmen kennt (ein falscher Co-Teilnehmer in einer Konformitätsstudie), sozialen Druckparadigmen (ein Partner, der in einem Vertrauensspiel unkooperativ ist) und Verhandlungs- oder Aushandlungsaufgaben (ein Gegenüber, dessen Angebote einem vorbestimmten Muster folgen). Ein AI Vertrauter ersetzt diesen menschlichen Komplizen durch einen modellgesteuerten Agenten: Der Teilnehmer glaubt weiterhin, oder wird dazu gebracht zu glauben, dass er mit einer anderen Partei in der Studie interagiert, aber die Antworten dieser Partei werden durch ein AI-System generiert oder skriptiert, anstatt von einem geschulten menschlichen Darsteller ausgeführt zu werden.

Dies ist kein neues experimentelles Design. Es ist ein alternativer Ansatz innerhalb von Designs, die bereits existieren, und das Feld hat bereits eine weniger technologische Version derselben Idee: Labvanceds eigene Multi-User-Studien Dokumentation beschreibt eine „virtuelle Gegner“-Strategie, bei der einem Teilnehmer gesagt wird, dass er gegen einen anderen Teilnehmer spielt, aber die andere Seite tatsächlich ein Algorithmus ist, der randomisierte Entscheidungen trifft. Dieser Ansatz ist ein echtes Vorbild der Idee des AI-Vertrauten, aber ein begrenztes: Ein Randomized-Choice-Algorithmus kann keinen skriptgesteuerten Austausch sozialer Interaktionen führen, verhandeln oder ein glaubwürdiges täuschendes Gespräch aufrechterhalten. Was generative AI hinzufügt, ist die Fähigkeit, natürliche, kontext-responsive Sprache zu produzieren, und in einigen Designs auch Audio oder Bilder, anstelle von der Live-Improvisation eines menschlichen Vertrauten, was diesen Ansatz für Paradigmen tragfähig macht, die ein Randomized-Choice-Algorithmus nie unterstützen könnte.

Das Argument für einen AI Vertrauten

Ein AI Vertrauter ist kein vollständiger Ersatz für einen menschlichen; er ist eine andere machbare Option, und in einigen Designs sogar eine stärkere. Vier Überlegungen sprechen dafür: Kontrolle, Replizierbarkeit, Ethik und Skalierung.

Kontrolle

Ein geschulter menschlicher Vertrauter wird gebeten, ein festes Verhaltensprotokoll bei jedem Teilnehmer zu reproduzieren: denselben Ton, dieselbe Gegenreaktion, dasselbe Timing einer Zugeständnisses in einer Verhandlungsaufgabe. In der Praxis driftet das Verhalten der Vertrauten. Müdigkeit, Stimmung und die gesammelte Erfahrung aus vielen Sitzungen führen alle zu Variationen, die der Forscher nicht eingeplant hat, und diese Variation ist eine Störvariable, weil sie mit der Zeit und der Reihenfolge der Sitzungen korreliert, anstatt mit der experimentellen Manipulation. Ein AI-Agent, der aus einem festen Prompt und einer festen Konfiguration entsteht, ermüdet oder sammelt keine Sitzungs-Erfahrungen wie eine Person, was diese spezifische Quelle der Drift zwischen Sitzungen beseitigt, obwohl er seine eigenen Konsistenzanforderungen mit sich bringt (siehe unten).

In Labvanceds Implementierung: die gleiche Send to OpenAI Konfiguration läuft unverändert für jede Sitzung in der Aufgabe, da es sich um eine feste Einstellung handelt, anstatt um ein Protokoll, das eine Person jedes Mal aus dem Gedächtnis reproduzieren muss.

Replizierbarkeit

Das genaue Verhalten eines menschlichen Vertrauten ist selten vollständig in einem Methodenabschnitt spezifiziert. Selbst ein detailliertes Skript lässt Lücken, die ein menschlicher Darsteller mit Urteilsvermögen füllt, sodass ein anderes Labor, das versucht, die Studie zu replizieren, eine Annäherung an die Leistung des ursprünglichen Vertrauten reproduziert, nicht die Leistung selbst. Ein dokumentierter Prompt, Modellversion und Generierungsparameter sind eine vollständige, tragbare Spezifikation: Ein anderes Labor kann die identische Konfiguration verwenden, anstatt einen neuen Darsteller zu trainieren, um den ursprünglichen nachzuahmen.

In Labvanceds Implementierung: Modellversion, Temperatur und der Prompt selbst werden direkt in der Aufgaben-Konfiguration gespeichert, sodass die vollständige Spezifikation, die dieser Abschnitt fordert, keine zusätzliche Dokumentationsarbeit ist, sondern das, was bereits gespeichert ist.

Ethik

Einen Teilnehmer mit einem lebenden menschlichen Komplizen zu täuschen, trägt eine ethische Gewichtung, die die meisten institutionellen Überprüfungsprozesse bereits von Forschern verlangen, zu rechtfertigen und nachzubereiten: Eine wirkliche Person war, in gewisser Weise, an der Täuschung beteiligt. Ein AI-generierter Vertrauter verändert die ethische Dimension dieser Anordnung, obwohl er die zugrunde liegende Täuschung im Studiendesign selbst nicht beseitigt, die immer noch die gleiche Nachbesprechung und Einwilligungsbehandlung erfordert, die jedes Täuschungsparadigma erfordert. Dies mildert eine spezifische ethische Dimension der Verwendung von Vertrauten; es macht Täuschungsparadigmen insgesamt nicht ethisch einfacher.

Skalierung

Online- und Fernstudien können weit mehr Teilnehmer rekrutieren als eine einzige Laborsitzung jemals könnte, und das schafft ein spezifisches Skalierungsproblem für menschliche Vertraute: Jeder zusätzliche Teilnehmer benötigt eine weitere Vertrauten-Sitzung, sodass eine größere Stichprobe bedeutet, dass mehr Vertraute rekrutiert, ausgebildet und geplant werden müssen, zusätzlich zu der Anforderung, dass sie alle verhaltensmäßig konsistent miteinander bleiben, über die Drift zwischen den Vertrauten hinaus, die Kontrolle (oben) bereits abdeckt. Ein AI Vertrauter hat dieses Problem nicht. Die gleiche Konfiguration läuft für den tausendsten Teilnehmer genau so, wie sie es für den ersten tat, ohne zusätzliche Personal-, Trainings- oder inter- vertrauten Konsistenzprüfungen zu managen. Das ist es, was einen AI Vertrauten besonders gut für groß angelegte Online-Forschung geeignet macht.

In der Implementierung von Labvanced: die gleiche Konfiguration des KI-Konföderierten läuft unverändert, ob eine Studie 20 Teilnehmer oder 2.000 sammelt, da es sich um eine Aufgabenstellung handelt, die sich mit der Stichprobengröße skalieren muss, anstatt um Personal.

Methodische Überlegungen bei der Verwendung von KI-Konföderierten

Die Einführung eines KI-Konföderierten ist keine Plug-and-Play-Wahl. Sie bringt eigene Entwurfsanforderungen mit sich, und das Ignorieren dieser tauscht lediglich eine menschliche Verwirrung gegen eine Modellverwirrung aus.

Kontrolle des KI-Verhaltens als unabhängige Variable

Wenn die Antworten des KI-Konföderierten unvorhersehbar zwischen den Teilnehmern variieren, im Ton, darin, wie kooperativ oder unkooperativ er erscheint, in der Antwortlänge, hat die Studie genau die Art unkontrollierter Variation wieder eingeführt, die ein KI-Konföderierter beseitigen soll. Die Integration von Labvanced in die KI- und Psychologieforschung, die auf der nativen Texterzeugung, Bild- und Audioerzeugung von OpenAI basiert, offenbart die spezifischen Parameter, die ein Forscher benötigt, um das Verhalten des Konföderierten als kontrollierte Variable und nicht als Annahme zu behandeln:

• Ein Model Version für die Dauer der Studie festgelegt, sodass ein Modellupdate auf der Anbieter-Seite zwischen den Sitzungen das Verhalten des Konföderierten mitten in der Studie nicht ändern kann.
• Eine detaillierte system-Rollenbotschaft, festgelegt über Insert Message, die die Persona und Verhaltensgrenzen des Konföderierten schriftlich festlegt, anstatt sie dem Standardurteil des Modells zu überlassen: welcher Sprachregister und Slang zur Teilnehmergruppe passen, wie weit sein Bewusstsein für aktuelle Ereignisse reichen sollte und wie es reagieren sollte, wenn ein Teilnehmer direkt fragt, ob es eine KI ist.
• Temperature auf das deterministische Ende seines Bereichs eingestellt für einen scriptähnlichen Konföderierten, da die Temperatur steuert, wie zufällig vs. vorhersehbar die generierte Antwort ist.
• Max Tokens begrenzt, um die Antwortlänge über alle Teilnehmer hinweg konsistent zu halten, da ein unbegrenzter Konföderierter in dem, was er von einer Sitzung zur nächsten sagt, stark variieren kann.
• Für audio-basierte Konföderierte, ein festgelegtes Voice und eine schriftliche Instructions (zum Beispiel, eine neutrale, ruhige Lieferung angeben), um den Stimmton über die Teilnehmer hinweg konstant zu halten, anstatt ihn von Versuch zu Versuch variieren zu lassen.
• Ein verknüpftes Chat History Dataframe, sodass der vollständige Austausch mit jedem Teilnehmer protokolliert und für eine nachträgliche Überprüfung verfügbar ist, dass der Konföderierte konsequent agiert hat, die gleiche Art von Prüfpfad, den eine Manipulationsüberprüfung für die Einhaltung des Skripts eines menschlichen Konföderierten bereitstellt.

Zusammen helfen diese Einstellungen, eine größere Konsistenz in der genAI-Leistung über die Sitzungen hinweg sicherzustellen. Sie sind Hebel, die ein Forscher absichtlich betätigen muss, genau wie eine Studie mit menschlichen Konföderierten ein Ausbildungsprotokoll und Inter-Sitzungs-Fidelitätsprüfungen erfordert, anstatt anzunehmen, dass ein Schauspieler ein Skript ungehindert reproduzieren wird.

OpenAI Textbasierter Chat

Diese Vorlage richtet den Echtzeit-Kommunikationskanal zwischen Labvanced und OpenAI ein, das Fundament jeder studie, die auf dieser Integration basiert. Verwenden Sie es als Ausgangspunkt und modifizieren Sie den Prompt, das Modell und die Parameter, um sie an Ihr Paradigma anzupassen.

Hinweis: Für dieses spezielle Demo ist die Tokenlänge (d.h. die Länge der Antwort) auf 100 und die Temperatur (d.h. Kreativität) auf 1 gesetzt. Dies kann unter den Studieneinstellungen angepasst werden.

Gestaltung des Prompts als Validitätsvariable

Die system-Rollenbotschaft ist der Ort, an dem der Forscher die gesamte Verhaltenspolitik des Konföderierten von Hand schreibt: sein Sprachregister und Slang, wie weit sein Bewusstsein für aktuelle Ereignisse reicht und wie er reagiert, wenn ein Teilnehmer direkt fragt, ob es eine KI ist. Zwei Labore, die dieselbe Substitution mit unterschiedlicher Slangkalibrierung, einem anderen Schnittpunkt für aktuelle Ereignisse oder einer anderen vorgefertigten Antwort auf die KI-Frage durchführen, könnten bedeutend unterschiedliche Konföderiertenverhalten erhalten, eine Form der Promptsensitivität, die in der Sprachmodellforschung allgemein gut dokumentiert ist (Zhuo et al., 2024). Eine Studie, die feststellt, dass Teilnehmer unterschiedlich auf einen KI-Konföderierten reagieren als auf einen menschlichen, könnte einen echten Substitutionseffekt erfassen oder sie könnte einen unzureichend spezifizierten oder schlecht gestalteten Prompt in einem dieser Dimensionen erfassen. Die Behandlung der Promptgestaltung als Variable, die berichtet und geprüft werden muss, anstatt als Implementierungsdetail, ist es, was diese beiden Erklärungen unterscheidbar macht.

In der Implementierung von Labvanced: dies ist die system-Rollenbotschaft, die über Insert Message festgelegt wurde, einmal als Teil der Aufgabe gespeichert, anstatt für jede Sitzung neu eingegeben zu werden, was es ermöglicht, genau so zu berichten und zu überprüfen, wie es geschrieben wurde.

Die gleiche Urheberschaft eröffnet auch eine absichtliche Nutzung: ein Forscher kann den Systemprompt über Bedingungen hinweg als Manipulation selbst variieren, zum Beispiel ein kooperativer Persona-Konföderierter versus ein wettbewerbsorientierter Persona-Konföderierter in einer Verhandlung. Hier ist der Prompt selbst die unabhängige Variable, absichtlich über Bedingungen hinweg variiert, anstatt konstant gehalten zu werden, und die methodische Messlatte verschiebt sich entsprechend: Promptvarianten müssen nur entlang der beabsichtigten Dimension (kooperativ vs. wettbewerbsorientiert) variieren und nicht zufällig entlang anderer (Länge, Formalität, Wortschatz), oder die Manipulation ist bereits vor Studienbeginn konfundiert. Eine Manipulationsüberprüfung darüber, wie die Teilnehmer den Konföderierten tatsächlich entlang der beabsichtigten Dimension wahrnahmen, wird hier wesentlich, genauso wie ein Pilot-Test bestätigen würde, dass die persona eines menschlichen Konföderierten wie beabsichtigt wahrgenommen wurde.

Paradigmenanpassung

Ein KI-Konföderierter eignet sich für Paradigmen, bei denen die Interaktion im Voraus spezifiziert oder aus einem begrenzten Satz von Antworttypen, Täuschungsszenarien, strukturierten sozialen Druckaustauschen, Verhandlungs- und Bargaining-Tasks mit einem definierten Angebotsspektrum generiert werden kann. Eine KI-Verhandlungsstudie ist eines der klarsten Beispiele hierfür, da Angebote und Gegenangebote innerhalb eines definierten Rahmens fallen, anstatt offene Improvisation zu erfordern. Sie eignet sich weniger gut für Paradigmen, bei denen die Interaktion auf die überzeugende Improvisation des Konföderierten außerhalb dieses begrenzten Rahmens angewiesen ist, oder bei denen die Täuschung speziell davon abhängt, dass der Teilnehmer glaubt, er habe es mit einem gleichgestellten menschlichen Kollegen in einem Kontext zu tun, in dem eine KI-Präsenz, sobald sie vermutet wird, die Manipulation vollständig zusammenbrechen würde.

In der Implementierung von Labvanced: die Send to OpenAI-Aktion generiert die Seite des Konföderierten in einer Täuschungs-, sozialen Druck- oder Verhandlungsaustausch innerhalb einer Studie mit einem Teilnehmer. Der Konföderierte ist kein zweiter real verbundener Benutzer, sodass der Aufbau dieser Paradigmen nicht die Multi-User-Infrastruktur von Labvanced erfordert, die Sitzung des Teilnehmers ist die einzige live.

Die offene Validitätsfrage

Ob ein Teilnehmer, der von einem KI-gesteuerten Konföderierten getäuscht wird, sich genauso verhält wie einer, der von einem menschlichen Konföderierten getäuscht wird, in einem Vertrauensspiel, einem Konformitätsparadigma oder einer speziellen Verhandlungsaufgabe, wurde noch nicht direkt getestet: die Substitution ist neu genug, dass dieser Vergleich einfach noch nicht durchgeführt wurde. Es ist plausibel, dass das Verdächtigen oder Entdecken einer KI-Präsenz die sozialen Einsätze der Interaktion in einer Weise verändert, die ein menschlicher Konföderierter nicht tut, was bedeuten würde, dass ein KI-Konföderierter einen menschlichen Konsistenzkonfund gegen einen anderen, KIspezifischen eintauscht, anstatt einfach einen Konfund zu entfernen. Eine rigorose Verwendung eines KI-Konföderierten betrachtet dies als offene empirische Frage, die überprüft werden muss, zum Beispiel durch eine Manipulationsprüfung darüber, ob die Teilnehmer korrekt glaubten, dass sie mit einem Menschen interagieren, und nicht durch eine Annahme, die durch das Design gelöst wurde.

Häufig gestellte Fragen

Weiterführende Literatur

Arbeiten Sie an einem dyadischen oder Gruppeninteraktionsdesign und möchten den breiteren Kontext? Der dyadische Effekt in der psychologischen Forschung behandelt, wie die Anwesenheit einer anderen Partei individuelles Verhalten in paarweisen Designs verändert, dasselbe Territorium, in dem ein menschlicher oder KI-Konföderierter operiert. Ein verwandtes Muster zeigt sich überall dort, wo mehr als ein einfaches Paar beteiligt ist, abgedeckt in der Teamdynamikforschung.

Wo ein Verhandlungs- oder Verhandlungparadigma das Ziel-Design ist, ist die Ultimatum-Spiel-Aufgabenseite ein konkretes Beispiel für die begrenzte Angebotsraumstruktur, die ein KI-Konföderierter gut erzeugen kann.