AI Confédéré : Méthodologie et Validité

Un confédéré AI est un agent scripté ou modelé qui fait office d'acolyte humain dans les paradigmes de tromperie, de pression sociale et de négociation. Contrairement à un confédéré humain formé, son comportement peut être spécifié, enregistré et reproduit exactement pour chaque participant, ce qui est l'argument méthodologique central en faveur de son utilisation, et aussi la raison pour laquelle il doit être évalué comme une décision de conception plutôt que d'être adopté par défaut.

Cette page traite l'AI comme un outil remplaçant un rôle humain dans un paradigme autrement classique : l'AI est l'instrument, et non ce qui est mesuré. C'est une question différente de celles des études où l'AI elle-même est le sujet étudié, traitée dans la FAQ ci-dessous.

Qu'est-ce qui compte comme un AI confédéré

Un confédéré, au sens classique, est quelqu'un qui apparaît au participant comme un autre participant ou un partenaire d'interaction ordinaire mais agit en réalité selon un script que le chercheur contrôle, le plus souvent issu des paradigmes de tromperie (un faux co-participant dans une étude de conformité), des paradigmes de pression sociale (un partenaire qui se comporte de manière non coopérative dans un jeu de confiance), et des tâches de négociation ou de marchandage (un homologue dont les offres suivent un schéma prédéfini). Un confédéré AI remplace cet acolyte humain par un agent modelé : le participant croit toujours, ou est amené à croire, qu'il interagit avec une autre partie dans l'étude, mais les réponses de cette partie sont générées ou scriptées par un système AI plutôt que réalisées par un acteur humain formé.

Ce n'est pas un nouveau design expérimental. C'est une approche alternative au sein de conceptions déjà existantes, et le domaine a déjà une version moins technologique de la même idée : la propre documentation des études multi-utilisateurs de Labvanced décrit une stratégie de "partenaire virtuel", où un participant est informé qu'il joue contre un autre participant mais l'autre côté est en réalité un algorithme prenant des décisions aléatoires. Cette approche est un véritable ancêtre de l'idée de confédéré AI, mais limitée : un algorithme de choix aléatoire ne peut pas soutenir un échange de pression sociale scripté, négocier ou maintenir une conversation trompeuse crédible. Ce que l'AI générative ajoute, c'est la capacité de produire un langage naturel et réactif au contexte, et dans certains designs, des audio ou des images, en remplacement de l'improvisation en direct d'un confédéré humain, ce qui rend cette approche viable pour des paradigmes qu'un algorithme de choix aléatoire n'aurait jamais pu soutenir.

L'Argument en faveur d'un AI confédéré

Un AI confédéré n'est pas un remplacement complet d'un humain ; c'est une autre option viable et, dans certains designs, plus puissante. Quatre considérations militent en sa faveur : contrôle, réplicabilité, éthique et échelle.

Contrôle

Un confédéré humain formé est censé reproduire un protocole comportemental fixe pour chaque participant : le même ton, la même résistance, le même timing d'une concession dans une tâche de négociation. En pratique, les confédérés dérivent. La fatigue, l'humeur et l'expérience accumulée de la gestion de nombreuses sessions introduisent toutes des variations que le chercheur n'a pas conçues, et cette variation est une confusion car elle est corrélée avec le temps et l'ordre des sessions plutôt qu'avec la manipulation expérimentale. Un agent AI générant à partir d'un prompt fixe et d'une configuration fixe ne se fatigue pas ni n'accumule d'expérience de session comme un humain, ce qui élimine cette source spécifique de dérive entre les sessions, bien qu'il introduise ses propres exigences de cohérence (voir ci-dessous).

Dans l'implémentation de Labvanced : la même configuration Send to OpenAI reste inchangée pour chaque session sur la tâche, puisqu'il s'agit d'un réglage fixe plutôt que d'un protocole qu'une personne doit reproduire de mémoire chaque fois.

Réplicabilité

Le comportement exact d'un confédéré humain n'est rarement entièrement spécifié dans une section méthode. Même un script détaillé laisse des lacunes qu'un acteur humain comble par son jugement, de sorte qu'un autre laboratoire tentant de reproduire l'étude reproduit une approximation de la performance du confédéré original, et non la performance elle-même. Un prompt documenté, une version de modèle et des paramètres de génération constituent une spécification complète et portable : un autre laboratoire peut exécuter la configuration identique plutôt que de former un nouvel acteur pour approcher l'original.

Dans l'implémentation de Labvanced : la version du modèle, la température et le prompt lui-même sont directement sauvegardés dans la configuration de la tâche, donc la spécification complète demandée dans cette section n'est pas un travail de documentation supplémentaire, elle est ce qui est déjà stocké.

Éthique

Tromper un participant avec un complice humain en direct porte un poids éthique que la plupart des processus d'examen institutionnel exigent déjà que les chercheurs justifient et débriefent : une véritable personne a, en quelque sorte, participé à la tromperie. Un confédéré généré par AI change la texture éthique de cet arrangement, bien qu'il ne supprime pas la tromperie sous-jacente dans la conception même de l'étude, qui nécessite toujours le même débriefing et la gestion du consentement qu'exige tout paradigme de tromperie. Cela atténue une dimension éthique spécifique de l'utilisation des confédérés ; cela ne rend pas les paradigmes de tromperie éthiquement plus simples dans l'ensemble.

Échelle

Les études en ligne et à distance peuvent recruter beaucoup plus de participants qu'une seule session de laboratoire ne pourrait jamais le faire, et cela crée un problème d'échelle spécifique aux confédérés humains : chaque participant supplémentaire nécessite une autre session de confédéré, donc un échantillon plus grand signifie recruter, former et programmer plus de confédérés, tout en maintenant la cohérence comportementale entre eux, en plus de la dérive déjà couverte par le Contrôle (ci-dessus). Un confédéré AI n'a pas ce problème. La même configuration fonctionne pour le millième participant exactement comme elle l'a fait pour le premier, sans personnel, formation ou vérifications de cohérence inter-confédéré supplémentaires à gérer. C'est ce qui rend un confédéré AI particulièrement bien adapté à la recherche en ligne à large échelle.

Dans l'implémentation de Labvanced : la même configuration de confédéré IA fonctionne sans modification, que l'étude collecte 20 participants ou 2 000, car il s'agit d'un paramètre de tâche plutôt que de personnel qui doit s'adapter à la taille de l'échantillon.

Considérations méthodologiques lors de l'utilisation de confédérés IA

Adopter un confédéré IA n'est pas un choix pratique et immédiat. Cela introduit ses propres exigences de conception, et les ignorer revient à échanger un effet de confusion confédéré humain contre un effet de confusion confédéré par modèle.

Contrôler le comportement de l'IA comme une variable indépendante

Si les réponses du confédéré IA varient de manière imprévisible d'un participant à l'autre, que ce soit en ton, en niveau de coopération ou de non-coopération, en longueur de réponse, l'étude a réintroduit exactement le type de variation non contrôlée que le confédéré IA est censé éliminer. L'intégration de l'IA et de la recherche en psychologie de Labvanced, construite sur la génération de texte, d'images et d'audio native d'OpenAI, expose les paramètres spécifiques qu'un chercheur doit traiter pour considérer le comportement du confédéré comme une variable contrôlée plutôt qu'une supposition :

• Un Model Version épinglé pendant la durée de l'étude, de sorte qu'une mise à jour du modèle côté fournisseur entre les sessions ne puisse pas modifier le comportement du confédéré en plein milieu de l'étude.
• Un message de rôle system détaillé, défini via Insert Message, qui formalise la personnalité et les limites comportementales du confédéré par écrit plutôt que de les laisser au jugement par défaut du modèle : quel registre de langue et argot conviennent au groupe de participants, jusqu'où sa connaissance des actualités devrait-elle s'étendre, et comment il devrait répondre si un participant demande directement s'il s'agit d'une IA.
• Temperature réglé vers l'extrémité déterministe de son échelle pour un confédéré avec une sensation scriptée, car la température régit le degré de randomisation par rapport à la prévisibilité de la réponse générée.
• Max Tokens plafonné pour maintenir la cohérence de la longueur des réponses entre les participants, car un confédéré sans plafond peut varier largement dans la quantité d'information fournie d'une session à l'autre.
• Pour les confédérés audio, un Voice fixe et un Instructions écrit (par exemple, spécifiant une livraison neutre et calme) pour maintenir le ton vocal constant entre les participants plutôt que de le laisser varier d'un essai à l'autre.
• Un Chat History Dataframe lié, de sorte que l'échange complet avec chaque participant soit enregistré et disponible pour une vérification post-hoc que le confédéré a agi de manière cohérente, le même type de piste d'audit qu'un contrôle de manipulation fournit pour l'adhésion au script d'un confédéré humain.

Ensemble, ces paramètres aident à garantir une plus grande cohérence des performances genAI entre les sessions. Ce sont des leviers que le chercheur doit actionner délibérément, de la même manière qu'une étude avec un confédéré humain nécessite un protocole de formation et des contrôles de fidélité entre les sessions plutôt que de supposer qu'un acteur reproduira un script sans aide.

Chat basé sur le texte d'OpenAI

Ce modèle met en place le canal de communication en temps réel entre Labvanced et OpenAI, sur lequel repose toute étude basée sur un confédéré bâtie sur cette intégration. Utilisez-le comme point de départ et modifiez le prompt, le modèle et les paramètres pour l'adapter à votre paradigme.

Remarque : Pour cette démonstration particulière, la longueur des tokens (c'est-à-dire la longueur de la réponse) est définie à 100 et la température (c'est-à-dire la créativité) est définie à 1. Cela peut être ajusté sous les Paramètres de l'étude.

Conception de prompt en tant que variable de validité

Le message de rôle system est là où le chercheur écrit l'ensemble de la politique comportementale du confédéré à la main : son registre de langue et argot, jusqu'où s'étend sa connaissance des actualités, et comment il répond si un participant demande directement s'il s'agit d'une IA. Deux laboratoires exécutant la même substitution avec une calibration de slang différente, un cutoff des actualités différent, ou une réponse scriptée différente à la question sur l'IA pourraient obtenir un comportement de confédéré sensiblement différent, une forme de sensibilité au prompt bien documentée dans la recherche sur les modèles de langage en général (Zhuo et al., 2024). Une étude qui constate que les participants réagissent différemment à un confédéré IA qu'à un confédéré humain pourrait détecter un véritable effet de substitution ou pourrait constater que le prompt est mal spécifié ou mal conçu sur l'une de ces dimensions. Traiter la conception de prompt comme une variable à signaler et à examiner, plutôt qu'un détail d'implémentation, est ce qui rend ces deux explications distinctes.

Dans l'implémentation de Labvanced : ceci est le message de rôle system défini via Insert Message, enregistré une fois dans le cadre de la tâche plutôt que saisi à nouveau pour chaque session, ce qui permet de signaler et d'auditer exactement comme écrit.

La même paternité ouvre également une utilisation délibérée : un chercheur peut varier le prompt système entre les conditions en tant que manipulation elle-même, par exemple, un confédéré à personnalité coopérative par rapport à un confédéré à personnalité compétitive dans une tâche de négociation. Ici, le prompt est lui-même la variable indépendante, délibérément variée entre les conditions plutôt que maintenue constante, et la barre méthodologique se déplace en conséquence : les variantes de prompt doivent seulement différer selon la dimension prévue (coopératif vs. compétitif) plutôt qu'incidemment selon d'autres (longueur, formalité, vocabulaire), sinon la manipulation est confondue avant même le début de l'étude. Un contrôle de manipulation sur la manière dont les participants perçoivent effectivement le confédéré selon la dimension prévue devient essentiel ici, de la même manière qu'un test pilote confirmerait que la personnalité scriptée d'un confédéré humain se manifeste comme prévu.

Concordance avec le paradigme

Un confédéré IA convient aux paradigmes où l'interaction peut être spécifiée à l'avance ou générée à partir d'un ensemble limité de types de réponse, de scénarios de tromperie, d'échanges de pression sociale structurés, de tâches de négociation et de marchandage avec un espace d'offre défini. Une étude de négociation IA est l'un des ajustements les plus évidents ici, puisque les offres et contre-offres tombent dans un espace défini plutôt que d'exiger une improvisation ouverte. Elle convient moins bien aux paradigmes où l'interaction dépend du fait que le confédéré improvise de manière convaincante en dehors de cet espace limité, ou où la tromperie dépend spécifiquement de la croyance du participant qu'il interagit avec un pair humain de même statut dans un contexte où la présence d'une IA, une fois soupçonnée, ferait totalement s'effondrer la manipulation.

Dans l'implémentation de Labvanced : l'action Send to OpenAI génère le côté du confédéré d'une tromperie, d'une pression sociale ou d'un échange de négociation au sein d'une étude à participant unique. Le confédéré n'est pas un deuxième utilisateur connecté réel, donc la construction de ces paradigmes ne nécessite pas l'infrastructure multi-utilisateur de Labvanced, la session du participant étant la seule en direct.

La question de validité ouverte

La question de savoir si un participant trompé par un confédéré piloté par une IA se comporte de la même manière qu'un participant trompé par un confédéré humain, dans un jeu de confiance, un paradigme de conformité ou une tâche de négociation en particulier, n'a pas encore été testée directement : la substitution est suffisamment nouvelle que cette comparaison directe n'a tout simplement pas encore été réalisée. Il est plausible que le fait de soupçonner ou de découvrir une présence AI modifie les enjeux sociaux de l'interaction d'une manière qu'un confédéré humain ne le fait pas, ce qui signifierait qu'un confédéré AI échange un confondant de cohérence humaine contre un autre, spécifique à l'IA plutôt que de simplement éliminer un confondant. Une utilisation rigoureuse d'un confédéré AI traite cela comme une question empirique ouverte à vérifier, par exemple par le biais d'un contrôle de manipulation sur la question de savoir si les participants croyaient correctement qu'ils interagissaient avec un humain, plutôt qu'une hypothèse résolue par conception.

Questions Fréquemment Posées

Lectures Supplémentaires

Vous travaillez sur un design d'interaction dyadique ou de groupe et souhaitez le contexte plus large ? L'effet dyadique dans la recherche en psychologie couvre comment la présence d'une autre partie change le comportement individuel dans des conceptions appariées, le même territoire où opère un confédéré humain ou AI. Un schéma lié apparaît partout où plus qu'une simple paire est impliquée, couvert dans la recherche sur la dynamique d'équipe.

Lorsque le paradigme de négociation ou de marchandage est le design cible, la page de tâche Jeu du Dernier Mot est un exemple concret de la structure d'espace d'offre borné qu'un confédéré AI est bien adapté à générer.