AI Confederate: Méthodologie et Validité

Un confédéré AI est un agent scripté ou basé sur un modèle qui remplace un complice humain dans les paradigmes de tromperie, de pression sociale et de négociation. Contrairement à un confédéré humain entraîné, son comportement peut être spécifié, enregistré et reproduit exactement pour chaque participant, ce qui constitue l'argument méthodologique central en faveur de son utilisation, et c'est aussi la raison pour laquelle il doit être évalué comme une décision de conception plutôt que d'être adopté par défaut.

Cette page considère l'AI comme un outil remplaçant un rôle humain au sein d'un paradigme classique : l'AI est l'instrument, et non ce qui est mesuré. C'est une question différente de celles des études où l'AI elle-même est le sujet d'étude, traitée dans la FAQ ci-dessous.

Qu'est-ce qui compte comme un confédéré AI

Un confédéré, au sens classique, est quelqu'un qui apparaît au participant comme un autre participant ou un partenaire d'interaction ordinaire mais qui agit en fait sur un script contrôlé par l'expérimentateur, le plus familier dans les paradigmes de tromperie (un faux co-participant dans une étude de conformité), les paradigmes de pression sociale (un partenaire qui se comporte de manière non coopérative dans un jeu de confiance) et les tâches de négociation ou de marchandage (un homologue dont les offres suivent un modèle prédéterminé). Un confédéré AI remplace ce complice humain par un agent basé sur un modèle : le participant croit toujours, ou est amené à croire, qu'il interagit avec une autre partie dans l'étude, mais les réponses de cette partie sont générées ou scriptées par un système AI plutôt que jouées par un acteur humain entraîné.

Ce n'est pas un nouveau design expérimental. C'est une approche alternative dans des conceptions déjà existantes, et le domaine a déjà une version moins technologique de la même idée : la documentation sur les études multi-utilisateurs de Labvanced décrit une stratégie de "partenaire virtuel", où un participant est informé qu'il joue contre un autre participant mais que l'autre côté est en réalité un algorithme prenant des décisions aléatoires. Cette approche est un véritable ancêtre de l'idée de confédéré AI, mais limitée : un algorithme de choix aléatoire ne peut pas tenir un échange de pression sociale scripté, négocier, ou soutenir une conversation trompeuse crédible. Ce que l'AI générative ajoute, c'est la capacité de produire un langage naturel, réactif au contexte, et dans certaines conceptions, des audio ou des images, à la place de l'improvisation en direct d'un confédéré humain, ce qui rend cette approche viable pour des paradigmes qu'un algorithme de choix aléatoire n'aurait jamais pu soutenir.

L'argument en faveur d'un confédéré AI

Un confédéré AI n'est pas un remplacement total pour un humain ; c'est une option viable, et dans certaines conceptions, plus puissante. Quatre considérations plaident en sa faveur : contrôle, reproductibilité, éthique et échelle.

Contrôle

Un confédéré humain entraîné est censé reproduire un protocole comportemental fixe pour chaque participant : le même ton, le même contre-temps, le même moment d'une concession dans une tâche de négociation. En pratique, les confédérés dérivent. La fatigue, l'humeur et l'expérience accumulée à travers de nombreuses sessions introduisent toutes une variation que le chercheur n'a pas conçue, et cette variation est une confusion car elle est liée au temps et à l'ordre des sessions plutôt qu'à la manipulation expérimentale. Un agent AI générant à partir d'une invite fixe et d'une configuration fixe ne se fatigue pas et n'accumule pas d'expérience de session de la manière dont une personne le fait, ce qui élimine cette source spécifique de dérive entre les sessions, bien qu'elle introduise ses propres exigences de cohérence (voir ci-dessous).

Dans l'implémentation de Labvanced : la même configuration Send to OpenAI se déroule sans changement pour chaque session de la tâche, puisqu'il s'agit d'un réglage fixe plutôt que d'un protocole qu'une personne doit reproduire de mémoire à chaque fois.

Reproductibilité

Le comportement exact d'un confédéré humain est rarement entièrement spécifié dans une section de méthodes. Même un script détaillé laisse des lacunes qu'un acteur humain remplit avec son jugement, donc un autre laboratoire tentant de reproduire l'étude reproduit une approximation de la performance du confédéré original, et non la performance elle-même. Une invite documentée, une version de modèle, et des paramètres de génération constituent une spécification complète et portable : un autre laboratoire peut exécuter la configuration identique plutôt que de former un nouvel acteur pour approximativement reproduire l'original.

Dans l'implémentation de Labvanced : la version du modèle, la température, et l'invite elle-même sont enregistrées directement dans la configuration de la tâche, donc la spécification complète que cette section appelle n'est pas un travail de documentation supplémentaire, c'est ce qui est déjà stocké.

Éthique

Tromper un participant avec un complice humain en direct porte un poids éthique que la plupart des processus de révision institutionnelle exigent déjà des chercheurs de justifier et de désamorcer : une personne réelle a, en quelque sorte, été complice de la tromperie. Un confédéré généré par AI change la texture éthique de cet arrangement, bien qu'il ne retire pas la tromperie sous-jacente dans la conception de l'étude elle-même, qui nécessite toujours le même désamorçage et le même traitement de consentement que tout paradigme de tromperie exige. Cela atténue une dimension éthique spécifique de l'utilisation de confédérés ; cela ne rend pas les paradigmes de tromperie éthiquement plus simples en général.

Échelle

Les études en ligne et à distance peuvent recruter beaucoup plus de participants qu'une seule session de laboratoire ne pourrait jamais le faire, et cela crée un problème d'échelle spécifique aux confédérés humains : chaque participant supplémentaire a besoin d'une autre session de confédéré, donc un échantillon plus grand signifie recruter, former et programmer plus de confédérés, en plus de maintenir tous comportementalement cohérents les uns avec les autres, en plus de la dérive entre confédérés que le Contrôle ci-dessus couvre déjà. Un confédéré AI n'a pas ce problème. La même configuration s'exécute pour le millième participant exactement comme elle l'a faite pour le premier, sans personnel, formation ou vérifications de cohérence inter-confédéré supplémentaires à gérer. C'est ce qui rend un confédéré AI particulièrement adapté à la recherche en ligne à grand échantillon.

Dans l'implémentation de Labvanced : la même configuration de confédéré IA fonctionne sans modification que l'étude collecte 20 participants ou 2 000, car il s'agit d'un cadre de tâche plutôt que de personnel qui doit s'adapter à la taille de l'échantillon.

Considérations méthodologiques lors de l'utilisation de confédérés IA

Adopter un confédéré IA n'est pas un choix simple. Cela introduit ses propres exigences de conception, et les ignorer échange simplement un biais de confédéré humain pour un biais de confédéré modèle.

Contrôler le comportement de l'IA comme variable indépendante

Si les réponses du confédéré IA varient de manière imprévisible d'un participant à l'autre, en ton, en degré de coopération ou de non-coopération, en longueur de réponse, l'étude a réintroduit exactement le type de variation incontrôlée qu'un confédéré IA est censé éliminer. L'intégration de la recherche IA et psychologie de Labvanced, construite sur la génération de texte, d'image et d'audio natif d'OpenAI, expose les paramètres spécifiques qu'un chercheur doit utiliser pour traiter le comportement du confédéré comme une variable contrôlée plutôt qu'une hypothèse :

• Un Model Version épinglé pendant la durée de l'étude, de sorte qu'une mise à jour de modèle côté fournisseur entre les sessions ne puisse pas modifier le comportement du confédéré en cours d'étude.
• Un message de rôle détaillé system, défini via Insert Message, qui met la personnalité et les limites comportementales du confédéré par écrit plutôt que de les laisser au jugement par défaut du modèle : quel registre de langue et quel argot conviennent au groupe de participants, jusqu'où sa connaissance des événements actuels devrait s'étendre, et comment il devrait répondre si un participant demande directement s'il s'agit d'une IA.
• Temperature réglé vers l'extrémité déterministe de sa plage pour un confédéré ayant un sentiment scénarisé, puisque la température gouverne comment la réponse générée est aléatoire par rapport à prédictible.
• Max Tokens plafonné pour maintenir la longueur de la réponse cohérente entre les participants, car un confédéré sans plafond peut varier largement en quantité de discours d'une session à l'autre.
• Pour les confédérés audio, un Voice fixe et un Instructions écrit (par exemple, spécifiant une livraison neutre et calme) pour maintenir le ton vocal constant entre les participants plutôt que de le laisser varier d'essai en essai.
• Un Chat History Dataframe lié, de sorte que l'échange complet avec chaque participant soit enregistré et disponible pour vérification a posteriori que le confédéré s'est comporté de manière cohérente, le même type de trace d'audit qu'un contrôle de manipulation fournit pour l'adhérence au script d'un confédéré humain.

Ensemble, ces réglages aident à garantir une plus grande cohérence de la performance de genAI entre les sessions. Ce sont des leviers qu'un chercheur doit actionner délibérément, de la même manière qu'une étude avec un confédéré humain nécessite un protocole de formation et des vérifications de fidélité entre les sessions plutôt que de supposer qu'un acteur reproduira un script sans assistance.

Chat basé sur le texte d'OpenAI

Ce modèle établit le canal de communication en temps réel entre Labvanced et OpenAI, fondement de toute étude basée sur confédéré bâtie sur cette intégration. Utilisez-le comme point de départ et modifiez le prompt, le modèle et les paramètres pour correspondre à votre paradigme.

Note : Pour cette démonstration particulière, la longueur du token (c'est-à-dire la longueur de la réponse) est fixée à 100 et la température (c'est-à-dire la créativité) est fixée à 1. Cela peut être ajusté dans les Paramètres de l'Étude.

Conception de prompt comme variable de validité

Le message de rôle system est l'endroit où le chercheur écrit entièrement la politique comportementale du confédéré à la main : son registre de langue et son argot, jusqu'où sa connaissance des événements actuels s'étend, et comment il répond si un participant demande directement s'il s'agit d'une IA. Deux laboratoires exécutant la même substitution avec une calibration d'argot différente, une coupure d'événements actuels différente, ou une réponse scénarisée différente à la question sur l'IA pourraient obtenir des comportements de confédéré significativement différents, une forme de sensibilité de prompt bien documentée dans la recherche sur les modèles de langage en général (Zhuo et al., 2024). Une étude qui trouve que les participants réagissent différemment à un confédéré IA qu'à un confédéré humain pourrait détecter un véritable effet de substitution, ou elle pourrait identifier un prompt mal spécifié ou mal conçu sur l'un de ces dimensions. Traiter la conception de prompt comme une variable à signaler et à examiner, plutôt que comme un détail d'implémentation, est ce qui rend ces deux explications distinguables.

Dans l'implémentation de Labvanced : c'est le message de rôle system défini via Insert Message, sauvegardé une fois comme partie de la tâche plutôt que tapé à neuf pour chaque session, ce qui rend possible de rapporter et d'auditer exactement tel qu'écrit.

La même paternité ouvre également une utilisation délibérée : un chercheur peut faire varier le prompt système entre les conditions en tant que manipulation elle-même, par exemple, un confédéré à persona coopératif contre un confédéré à persona compétitif dans une tâche de négociation. Ici, le prompt est lui-même la variable indépendante, délibérément variée entre les conditions plutôt que maintenue constante, et la barre méthodologique se déplace en conséquence : les variantes de prompt doivent différer uniquement sur la dimension prévue (coopératif contre compétitif) plutôt qu'incidemment sur d'autres (longueur, formalité, vocabulaire), sinon la manipulation est confondue avant le début de l'étude. Un contrôle de manipulation sur la façon dont les participants ont réellement perçu le confédéré le long de la dimension prévue devient essentiel ici, de la même manière qu'un test pilote confirmerait qu'une persona scénique d'un confédéré humain est perçue comme prévue.

Adaptation au paradigme

Un confédéré IA convient aux paradigmes où l'interaction peut être spécifiée à l'avance ou générée à partir d'un ensemble de types de réponse limité, scénarios de tromperie, échanges sociaux structurés sous pression, tâches de négociation et de marchandage avec un espace d'offre défini. Une étude de négociation IA est l'un des cas les plus clairs ici, car les offres et contre-offres tombent dans un espace défini plutôt que nécessiter une improvisation ouverte. Elle convient moins bien aux paradigmes où l'interaction dépend de l'improvisation convaincante du confédéré en dehors de cet espace limité, ou où la tromperie dépend spécifiquement de la croyance du participant qu'il interagit avec un pair humain de même statut dans un contexte où une présence IA, une fois suspectée, ferait totalement s'effondrer la manipulation.

Dans l'implémentation de Labvanced : l'action Send to OpenAI génère le côté du confédéré d'une tromperie, d'une pression sociale ou d'un échange de négociation au sein d'une étude à participant unique. Le confédéré n'est pas un deuxième utilisateur réel connecté, donc construire ces paradigmes ne nécessite pas l'infrastructure multi-utilisateur de Labvanced, la session du participant est la seule active.

La question de validité ouverte

Il n'a pas encore été directement testé si un participant trompé par un agent confédéré piloté par l'IA se comporte de la même manière qu'un trompé par un confédéré humain, dans un jeu de confiance, un paradigme de conformité, ou une tâche de négociation spécifiquement : la substitution est suffisamment nouvelle pour que cette comparaison directe n'ait tout simplement pas encore été réalisée. Il est plausible que soupçonner ou découvrir une présence d'IA change les enjeux sociaux de l'interaction de manière qu'un confédéré humain ne le fait pas, ce qui signifierait qu'un confédéré AI échange une confusion de consistance humaine contre une autre, spécifique à l'IA, plutôt que de simplement supprimer une confusion. Un usage rigoureux d'un confédéré AI considère cela comme une question empirique ouverte à vérifier, par exemple à travers un contrôle de manipulation sur la manière dont les participants croyaient correctement qu'ils interagissaient avec un humain, plutôt qu'une hypothèse résolue par la conception.

Questions Fréquemment Posées

Lecture Complémentaire

IA et Recherche Psychologique

Capacité de la plateforme : génération de texte, d'images et de son OpenAI en natif intégrée directement dans le flux expérimental.

Envoyer à l'Action OpenAI

Guide de mise en œuvre : l'action et les paramètres (version du modèle, température, voix, instructions) utilisés pour configurer un confédéré AI contrôlé.

Travaillant sur un design d'interaction dyadique ou de groupe et voulant le contexte plus large ? L'effet dyadique dans la recherche psychologique couvre comment la présence d'une autre partie change le comportement individuel dans des conceptions appariées, le même territoire où opère un confédéré humain ou AI. Un schéma connexe apparaît partout où plus qu'une simple paire est impliquée, couvert dans la recherche sur la dynamique d'équipe.

Lorsque le paradigme de négociation ou de marchandage est le design cible, la page de tâche Jeu du Ultimatum est un exemple concret de la structure d'espace d'offres limité qu'un confédéré AI est bien adapté à générer à l'intérieur.