AI Confederate: Méthodologie et Validité

Un AI confédéré est un agent scripté ou piloté par un modèle qui représente un complice humain dans des paradigmes de tromperie, de pression sociale et de négociation. Contrairement à un confédéré humain entraîné, son comportement peut être spécifié, enregistré et reproduit exactement pour chaque participant, ce qui constitue l'argument méthodologique central en faveur de son utilisation, et également la raison pour laquelle il doit être évalué comme une décision de conception plutôt que d'être adopté par défaut.

Cette page considère l'AI comme un outil représentant un rôle humain dans un paradigme autrement classique : l'AI est l'instrument, pas ce qui est mesuré. C'est une question différente de celles dans lesquelles l'AI elle-même est le sujet de l'étude, abordée dans la FAQ ci-dessous.

Ce qui Compte comme un AI Confédéré

Un confédéré, au sens classique, est quelqu'un qui apparaît au participant comme un autre participant ou un partenaire d'interaction ordinaire mais qui agit en réalité selon un scénario contrôlé par l'expérimentateur, le plus familier dans les paradigmes de tromperie (un faux co-participant dans une étude de conformité), dans les paradigmes de pression sociale (un partenaire qui se comporte de manière non coopérative dans un jeu de confiance), et des tâches de négociation ou de marchandage (un homologue dont les offres suivent un schéma prédéterminé). Un AI confédéré représente ce complice humain avec un agent piloté par un modèle : le participant croit encore, ou est amené à croire, qu'il interagit avec une autre partie dans l'étude, mais les réponses de cette partie sont générées ou scriptées par un système AI plutôt que par un acteur humain entraîné.

Ce n'est pas une nouvelle conception expérimentale. C'est une approche alternative au sein de conceptions qui existent déjà, et le domaine dispose déjà d'une version moins technologique de la même idée : la propre documentation des études multi-utilisateurs de Labvanced décrit une stratégie de "combattant virtuel", où un participant est informé qu'il joue contre un autre participant, mais de l'autre côté, il s'agit en réalité d'un algorithme prenant des choix aléatoires. Cette approche est un véritable ancêtre de l'idée du confédéré AI, mais limitée : un algorithme de choix aléatoire ne peut pas soutenir un échange scripté de pression sociale, négocier ou maintenir une conversation trompeuse crédible. Ce que l'AI générative ajoute, c'est la capacité de produire un langage naturel, réactif au contexte, et dans certains conceptions des audio ou des images, à la place de l'improvisation en direct d'un confédéré humain, ce qui rend cette approche viable pour des paradigmes qu'un algorithme de choix aléatoire n'aurait jamais pu soutenir.

L'Argument en Faveur d'un AI Confédéré

Un AI confédéré n'est pas un remplacement complet d'un confédéré humain ; c'est un autre choix viable, et dans certaines conceptions plus puissant. Quatre considérations plaident en sa faveur : contrôle, réplicabilité, éthique et échelle.

Contrôle

Un confédéré humain entraîné est invité à reproduire un protocole comportemental fixe pour chaque participant : le même ton, la même résistance, le même moment d'une concession dans une tâche de négociation. En pratique, les confédérés dévient. La fatigue, l'humeur et l'expérience accumulée de la conduite de nombreuses sessions introduisent toutes des variations que le chercheur n'a pas conçues, et cette variation est un facteur de confusion parce qu'elle est corrélée avec le temps et l'ordre des sessions plutôt qu'avec la manipulation expérimentale. Un agent AI générant à partir d'un prompt fixe et d'une configuration fixe ne se fatigue pas et n'accumule pas l'expérience de session de la manière dont le fait un humain, ce qui élimine cette source spécifique de dérive entre les sessions, bien qu'il introduise ses propres exigences de consistance (voir ci-dessous).

Dans l'implémentation de Labvanced : la même configuration Send to OpenAI fonctionne de manière inchangée pour chaque session de la tâche, puisque c'est un paramètre fixe plutôt qu'un protocole qu'une personne doit reproduire de mémoire à chaque fois.

Réplicabilité

Le comportement exact d'un confédéré humain est rarement entièrement spécifié dans une section méthodologique. Même un script détaillé laisse des lacunes qu'un acteur humain comble par son jugement, donc un laboratoire différent tentant de répliquer l'étude reproduit une approximation de la performance originale du confédéré, pas la performance elle-même. Un prompt documenté, une version de modèle et des paramètres de génération constituent une spécification complète et portable : un autre laboratoire peut exécuter la configuration identique au lieu de former un nouvel acteur pour approcher l'original.

Dans l'implémentation de Labvanced : la version du modèle, la température et le prompt lui-même sont enregistrés directement dans la configuration de la tâche, donc la spécification complète que cette section exige n'est pas un travail de documentation supplémentaire, c'est ce qui est déjà stocké.

Éthique

Tromper un participant avec un complice humain en direct a un poids éthique que la plupart des processus d'examen institutionnels exigent déjà que les chercheurs justifient et débriefent : une personne réelle était, dans une certaine mesure, complice de la tromperie. Un confédéré généré par AI change la texture éthique de cet arrangement, bien qu'il ne supprime pas la tromperie sous-jacente dans la conception de l'étude elle-même, qui nécessite toujours le même traitement de débriefing et de consentement que toute paradigme de tromperie requiert. Cela adoucit une dimension éthique spécifique de l'utilisation des confédérés ; cela ne rend pas les paradigmes de tromperie éthiquement plus simples dans l'ensemble.

Échelle

Les études en ligne et à distance peuvent recruter bien plus de participants qu'une seule session de laboratoire jamais pu le faire, et cela crée un problème d'échelle spécifique aux confédérés humains : chaque participant additionnel a besoin d'une autre session avec un confédéré, donc un échantillon plus important signifie recruter, former et programmer plus de confédérés, en plus de garder tous comportant de manière cohérente les uns avec les autres, au-delà de la dérive entre confédérés que le Contrôle (ci-dessus) couvre déjà. Un AI confédéré n'a pas ce problème. La même configuration fonctionne pour le millième participant exactement comme elle l'a fait pour le premier, sans ajout de personnel, de formation ou de vérifications de cohérence entre confédérés à gérer. C'est ce qui rend un AI confédéré particulièrement adapté à la recherche en ligne à grand échantillon.

Dans l'implémentation de Labvanced : la même configuration de confédéré IA fonctionne sans modification, que l'étude collecte 20 participants ou 2 000, car il s'agit d'un paramètre de tâche plutôt que d'un personnel qui doit évoluer avec la taille de l'échantillon.

Considérations méthodologiques lors de l'utilisation de confédérés IA

Adopter un confédéré IA n'est pas un choix simple. Cela introduit ses propres exigences de conception, et les ignorer revient à échanger une confusion liée au confédéré humain contre une confusion liée au modèle.

Contrôle du comportement de l'IA en tant que variable indépendante

Si les réponses du confédéré IA varient de manière imprévisible entre les participants, dans le ton, dans la coopération ou la non-coopération apparente, dans la longueur des réponses, l'étude a réintroduit exactement le type de variation incontrôlée que le confédéré IA est censé supprimer. L'intégration de la recherche IA et psychologie de Labvanced, bâtie sur la génération de texte, d'images et d'audio d'OpenAI, expose les paramètres spécifiques qu'un chercheur doit traiter pour considérer le comportement du confédéré comme une variable contrôlée plutôt qu'une hypothèse :

• Un Model Version épinglé pour la durée de l'étude, de sorte qu'une mise à jour du modèle côté fournisseur entre les sessions ne puisse pas changer le comportement du confédéré en cours d'étude.
• Un message de rôle détaillé system, défini via Insert Message, qui met par écrit la personnalité et les limites comportementales du confédéré plutôt que de les laisser au jugement par défaut du modèle : quel registre de langue et quel argot conviennent au groupe de participants, jusqu'où sa connaissance des événements actuels doit s'étendre, et comment il doit répondre si un participant demande directement s'il s'agit d'une IA.
• Temperature réglé vers l'extrémité déterministe de son éventail pour un confédéré avec une sensation scriptée, puisque la température régit le degré de randomisation par rapport à la prévisibilité de la réponse générée.
• Max Tokens plafonné pour garder la longueur des réponses cohérente entre les participants, puisque un confédéré non plafonné peut varier largement dans ce qu'il dit d'une session à l'autre.
• Pour les confédérés audio, un Voice fixe et Instructions écrit (par exemple, spécifiant une livraison neutre et calme) pour maintenir le ton vocal constant entre les participants plutôt que de le laisser varier d'un essai à l'autre.
• Un Chat History Dataframe lié, de sorte que l'échange complet avec chaque participant soit enregistré et disponible pour vérification post-hoc que le confédéré s'est comporté de manière cohérente, le même type de traçabilité qu'un contrôle de manipulation fournit pour l'adhésion au script d'un confédéré humain.

Ensemble, ces paramètres aident à garantir une plus grande cohérence pour la performance de genAI entre les sessions. Ce sont des leviers que le chercheur doit actionner délibérément, de la même manière qu'une étude avec un confédéré humain nécessite un protocole de formation et des vérifications de fidélité inter-sessions plutôt que de supposer qu'un acteur reproduira un script sans aide.

Chat basé sur le texte OpenAI

Ce modèle établit le canal de communication en temps réel entre Labvanced et OpenAI, la base sur laquelle repose toute étude fondée sur ce confédéré. Utilisez-le comme point de départ et modifiez l'invite, le modèle et les paramètres pour l'adapter à votre paradigme.

Remarque : Pour cette démo particulière, la longueur du jeton (c'est-à-dire la longueur de la réponse) est réglée sur 100 et la température (c'est-à-dire la créativité) est réglée sur 1. Cela peut être ajusté dans les Paramètres de l'étude.

Conception de l'invite en tant que variable de validité

Le message de rôle system est là où le chercheur écrit l'ensemble de la politique comportementale du confédéré à la main : son registre de langue et son argot, jusqu'où sa connaissance des événements récents s'étend, et comment il répond si un participant demande directement s'il s'agit d'une IA. Deux laboratoires menant la même substitution avec un calibrage d'argot différent, une coupure d'événements d'actualité différente, ou une réponse scriptée différente à la question IA pourraient obtenir des comportements de confédéré significativement différents, une forme de sensibilité à l'invite bien documentée dans la recherche sur les modèles linguistiques en général (Zhuo et al., 2024). Une étude qui constate que les participants réagissent différemment à un confédéré IA qu'à un confédéré humain pourrait découvrir un véritable effet de substitution, ou elle pourrait détecter une invite sous-spécifiée ou mal conçue sur l'une de ces dimensions. Traiter la conception de l'invite comme une variable à rapporter et à scruter, plutôt qu'un détail de mise en œuvre, est ce qui rend ces deux explications distinguables.

Dans l'implémentation de Labvanced : c'est le message de rôle system défini via Insert Message, enregistré une fois dans le cadre de la tâche plutôt que de le taper à nouveau pour chaque session, ce qui rend possible de rapporter et d'auditer exactement comme écrit.

La même paternité permet également une utilisation délibérée : un chercheur peut varier l'invite système entre les conditions comme la manipulation elle-même, par exemple, un confédéré de personnalité coopérative contre un confédéré de personnalité compétitive dans une tâche de négociation. Ici, l'invite est elle-même la variable indépendante, délibérément variée entre les conditions plutôt que maintenue constante, et la barre méthodologique est ajustée en conséquence : les variantes d'invite doivent différer uniquement selon la dimension prévue (coopératif vs. compétitif) plutôt que de manière incidente sur d'autres (longueur, formalité, vocabulaire), sinon la manipulation est confondue avant le début de l'étude. Un contrôle de manipulation sur la manière dont les participants ont réellement perçu le confédéré dans la dimension prévue devient ici essentiel, de la même manière qu'un test pilote confirmerait que la personnalité scriptée d'un confédéré humain a été perçue comme prévue.

Adéquation au paradigme

Un confédéré IA convient aux paradigmes où l'interaction peut être spécifiée à l'avance ou générée à partir d'un ensemble limité de types de réponses, de scénarios de tromperie, d'échanges de pression sociale structurée, de tâches de négociation et de marchandage avec un espace d'offre défini. Une étude de négociation IA est l'un des meilleurs ajustements ici, puisque les offres et contre-offres tombent dans un espace défini plutôt que d'exiger une improvisation ouverte. Il convient moins bien aux paradigmes où l'interaction dépend du confédéré improvisant de manière convaincante en dehors de cet espace limité, ou où la tromperie dépend précisément du participant croyant qu'il traite avec un pair humain de même statut dans un contexte où une présence IA, une fois suspectée, effondrerait complètement la manipulation.

Dans l'implémentation de Labvanced : l'action Send to OpenAI génère le côté du confédéré d'une tromperie, d'une pression sociale, ou d'un échange de négociation dans le cadre d'une étude à participant unique. Le confédéré n'est pas un deuxième utilisateur réel connecté, donc la construction de ces paradigmes ne nécessite pas l'infrastructure multi-utilisateurs de Labvanced, la session du participant étant la seule active.

La question de la validité ouverte

Si un participant trompé par un confédéré piloté par IA se comporte de la même manière qu'un trompé par un confédéré humain, dans un jeu de confiance, un paradigme de conformité ou une tâche de négociation en particulier, n'a pas encore été testé directement : la substitution est assez nouvelle pour que cette comparaison directe n'ait tout simplement pas encore été effectuée. Il est plausible que suspecter ou découvrir une présence IA change les enjeux sociaux de l'interaction de façons qu'un confédéré humain ne fait pas, ce qui signifierait qu'un confédéré IA échange une confusion de cohérence humaine contre une autre confusion spécifique à l'IA plutôt que de simplement retirer une confusion. Une utilisation rigoureuse d'un confédéré IA traite cela comme une question empirique ouverte à vérifier, par exemple à travers une vérification de manipulation sur si les participants croyaient correctement qu'ils interagissaient avec un humain, plutôt qu'une hypothèse résolue par la conception.

Questions Fréquemment Posées

Lectures Complémentaires

Vous travaillez sur une conception d'interaction dyadique ou de groupe et souhaitez le contexte plus large ? L'effet dyadique dans la recherche en psychologie couvre comment la présence d'une autre partie change le comportement individuel dans des conceptions appariées, le même territoire où opère un confédéré humain ou IA. Un modèle connexe apparaît partout où plus qu'une simple paire est impliquée, couvert dans la recherche sur la dynamique d'équipe.

Lorsque le paradigme de négociation ou de marchandage est la conception cible, la page de tâche Jeu de l'ultimatum est un exemple concret de la structure d'espace d'offre limité qu'un confédéré IA est bien adapté à générer à l'intérieur.