Confederado AI: Metodología y validez

Un confederado AI es un agente guiado por un modelo o script que representa a un cómplice humano en paradigmas de engaño, presión social y negociación. A diferencia de un confederado humano entrenado, su comportamiento puede ser especificado, registrado y reproducido exactamente en todos los participantes, lo cual es el argumento metodológico central para usar uno, y también la razón por la que necesita ser evaluado como una decisión de diseño en lugar de adoptarse por defecto.

Esta página trata a la AI como una herramienta que representa un rol humano dentro de un paradigma clásico: la AI es el instrumento, no lo que se está midiendo. Esa es una pregunta diferente de los estudios donde la AI misma es el sujeto bajo estudio, cubierto en la sección de preguntas frecuentes a continuación.

Qué cuenta como un confederado AI

Un confederado, en el sentido clásico, es alguien que aparece ante el participante como otro participante o un socio de interacción ordinaria, pero que en realidad actúa según un guion que controla el experimentador, más familiar en paradigmas de engaño (un co-participante falso en un estudio de conformidad), paradigmas de presión social (un compañero que se comporta de forma poco cooperativa en un juego de confianza) y tareas de negociación o regateo (un contraparte cuyos ofrecimientos siguen un patrón predeterminado). Un confederado AI representa a ese cómplice humano con un agente guiado por un modelo: el participante sigue creyendo, o se le conduce a creer, que está interactuando con otra parte en el estudio, pero las respuestas de la parte son generadas o escritas a través de un sistema AI en lugar de ser realizadas por un actor humano entrenado.

Este no es un nuevo diseño experimental. Es un enfoque alternativo dentro de diseños que ya existen, y el campo ya tiene una versión de baja tecnología de la misma idea: la propia documentación de estudios multimedia de Labvanced describe una estrategia de "oponente virtual", donde se le dice a un participante que está jugando contra otro participante, pero el otro lado es en realidad un algoritmo que toma decisiones aleatorias. Ese enfoque es un verdadero ancestro de la idea del confederado AI, pero uno limitado: un algoritmo de elección aleatoria no puede mantener un intercambio de presión social programado, negociar o sostener una conversación engañosa creíble. Lo que la AI generativa añade es la capacidad de producir un lenguaje natural, responsivo al contexto, y en algunos diseños audio o imágenes, en lugar de la improvisación en vivo de un confederado humano, que es lo que hace que este enfoque sea viable para paradigmas que un algoritmo de elección aleatoria nunca podría soportar.

El caso por un confederado AI

Un confederado AI no es un reemplazo total para uno humano; es una opción viable, y en algunos diseños más poderosa. Cuatro consideraciones abogan por ello: control, replicabilidad, ética y escala.

Control

A un confederado humano entrenado se le pide que reproduzca un protocolo de comportamiento fijo en todos los participantes: el mismo tono, la misma resistencia, el mismo momento de una concesión en una tarea de negociación. En la práctica, los confederados se desvían. La fatiga, el estado de ánimo y la experiencia acumulada de llevar a cabo muchas sesiones introducen variaciones que el investigador no diseñó, y esa variación es un factor de confusión porque se correlaciona con el tiempo y el orden de la sesión en lugar de con la manipulación experimental. Un agente AI que genera a partir de un prompt fijo y una configuración fija no se fatiga ni acumula experiencia de sesión como lo hace una persona, lo que elimina esa fuente específica de deriva entre sesiones, aunque introduce sus propios requisitos de consistencia (ver más abajo).

En la implementación de Labvanced: la misma configuración Send to OpenAI se ejecuta sin cambios para cada sesión en la tarea, ya que es una configuración fija y no un protocolo que una persona tiene que reproducir de memoria cada vez.

Replicabilidad

El comportamiento exacto de un confederado humano rara vez se especifica completamente en una sección de métodos. Incluso un guion detallado deja lagunas que un actor humano llena con juicio, por lo que un laboratorio diferente que intenta replicar el estudio está reproduciendo una aproximación del rendimiento del confederado original, no el rendimiento en sí. Un prompt documentado, la versión del modelo y los parámetros de generación son una especificación completa y portátil: otro laboratorio puede ejecutar la configuración idéntica en lugar de entrenar a un nuevo actor para aproximarse al original.

En la implementación de Labvanced: la versión del modelo, la temperatura y el prompt en sí se guardan directamente en la configuración de la tarea, por lo que la especificación completa que esta sección requiere no es un trabajo de documentación adicional, sino lo que ya está almacenado.

Ética

Engañar a un participante con un cómplice humano en vivo lleva un peso ético que la mayoría de los procesos de revisión institucional ya requieren que los investigadores justifiquen y debrief: una persona real fue, en cierto sentido, cómplice del engaño. Un confederado generado por AI cambia la textura ética de ese arreglo, aunque no elimina el engaño subyacente en el diseño del estudio en sí, que todavía requiere el mismo manejo de debriefing y consentimiento que cualquier paradigma de engaño exige. Esto suaviza una dimensión ética específica del uso de confederados; no hace que los paradigmas de engaño sean éticamente más simples en general.

Escala

Los estudios en línea y remotos pueden reclutar muchos más participantes de los que una sola sesión de laboratorio podría, y eso crea un problema de escalado específico relacionado con los confederados humanos: cada participante adicional necesita otra sesión de confederado, por lo que una muestra más grande significa reclutar, entrenar y programar más confederados, además de mantener todos ellos comportándose de manera consistente entre sí, además del control de deriva entre confederados que ya abarca el Control (arriba). Un confederado AI no tiene este problema. La misma configuración se ejecuta para el milésimo participante exactamente como lo hizo para el primero, sin personal adicional, entrenamiento o verificaciones de consistencia entre confederados que gestionar. Eso es lo que hace que un confederado AI sea especialmente adecuado para la investigación en línea con muestras grandes.

En la implementación de Labvanced: la misma configuración de confederado de IA se ejecuta sin modificaciones, ya sea que un estudio recoja 20 participantes o 2,000, ya que es un ajuste de tarea en lugar de un ajuste de personal que debe escalar con el tamaño de la muestra.

Consideraciones Metodológicas al Usar Confederados de IA

Adoptar un confederado de IA no es una opción de plug-and-play. Introduce sus propios requisitos de diseño, y saltarse esto solo intercambia un conflicto confederado humano por uno confederado de modelo.

Controlando el comportamiento de la IA como variable independiente

Si las respuestas del confederado de IA varían de manera impredecible entre los participantes, en tono, en cuán cooperativo o no cooperativo parece, en la longitud de la respuesta, el estudio ha reintroducido exactamente el tipo de variación no controlada que un confederado de IA está destinado a eliminar. La integración de IA y psicología de Labvanced, construida sobre la generación de texto, imagen y audio de OpenAI, expone los parámetros específicos que un investigador necesita para tratar el comportamiento del confederado como una variable controlada en lugar de una suposición:

• Un Model Version fijado durante la duración del estudio, de modo que una actualización de modelo del lado del proveedor entre sesiones no pueda cambiar el comportamiento del confederado a mitad del estudio.
• Un mensaje de rol system detallado, establecido a través de Insert Message, que pone la personalidad y los límites de comportamiento del confederado por escrito en lugar de dejarlos al juicio predeterminado del modelo: qué registro de lenguaje y jerga se ajustan al grupo de participantes, cuán lejos debe extenderse su conocimiento de eventos actuales, y cómo debe responder si un participante pregunta directamente si es una IA.
• Temperature establecido hacia el extremo determinista de su rango para un confederado con sensación de guion, ya que la temperatura gobierna cuán aleatoria frente a predecible es la respuesta generada.
• Max Tokens limitado para mantener la longitud de la respuesta consistente entre los participantes, ya que un confederado sin límite puede variar ampliamente en cuánto dice de una sesión a la siguiente.
• Para confederados basados en audio, un Voice fijo y Instructions escrito (por ejemplo, especificando una entrega neutral y calmada) para mantener el tono vocal constante entre los participantes en lugar de dejarlo variar de ensayo a ensayo.
• Un Chat History Dataframe vinculado, de modo que todo el intercambio con cada participante se registre y esté disponible para verificación posterior de que el confederado se comportó de manera consistente, el mismo tipo de rastro de auditoría que proporciona un chequeo de manipulación para la adhesión del guion de un confederado humano.

Juntas, estas configuraciones ayudan a garantizar una mayor consistencia en el rendimiento de genAI entre sesiones. Son palancas que un investigador debe accionar deliberadamente, de la misma forma que un estudio con confederados humanos requiere un protocolo de entrenamiento y chequeos de fidelidad entre sesiones en lugar de asumir que un actor reproducirá un guion sin ayuda.

Chat de Texto basado en OpenAI

Esta plantilla establece el canal de comunicación en tiempo real entre Labvanced y OpenAI, la base sobre la que se basa cualquier estudio confederado construido sobre esta integración. Úsalo como punto de partida y modifica el aviso, modelo y parámetros para que se ajusten a tu paradigma.

Nota: Para esta demostración en particular, la longitud del token (es decir, la longitud de la respuesta) se establece en 100 y la temperatura (es decir, la creatividad) se establece en 1. Esto puede ajustarse en Ajustes del Estudio.

Diseño del aviso como variable de validez

El mensaje de rol system es donde el investigador escribe toda la política de comportamiento del confederado a mano: su registro de lenguaje y jerga, cuán lejos se extiende su conocimiento de los eventos actuales y cómo responde si un participante pregunta directamente si es una IA. Dos laboratorios que ejecutan la misma sustitución con una calibración de jerga diferente, un corte de eventos actuales diferente o una respuesta guionizada diferente a la pregunta de IA podrían obtener un comportamiento de confederado significativamente diferente, una forma de sensibilidad a los avisos bien documentada en la investigación de modelos de lenguaje en general (Zhuo et al., 2024). Un estudio que encuentra que los participantes responden de manera diferente a un confederado de IA que a uno humano podría estar captando un efecto de sustitución genuino, o podría estar captando un aviso mal especificado o mal diseñado en una de estas dimensiones. Tratar el diseño del aviso como una variable a ser reportada y examinada, en lugar de un detalle de implementación, es lo que hace que esas dos explicaciones sean distinguibles.

En la implementación de Labvanced: este es el mensaje de rol system establecido a través de Insert Message, guardado una vez como parte de la tarea en lugar de ser escrito de nuevo para cada sesión, lo que hace posible reportar y auditar exactamente como está escrito.

La misma autoría también abre un uso deliberado: un investigador puede variar el aviso del sistema entre condiciones como la manipulación en sí, por ejemplo, un confederado de personalidad cooperativa frente a un confederado de personalidad competitiva en una tarea de negociación. Aquí el aviso es en sí mismo la variable independiente, deliberadamente variada entre condiciones en lugar de mantenerlo constante, y la barra metodológica se desplaza en consecuencia: las variantes del aviso solo necesitan diferir a lo largo de la dimensión pretendida (cooperativa vs. competitiva) en lugar de incidentalmente a lo largo de otras (longitud, formalidad, vocabulario), o la manipulación está confundida antes de que comience el estudio. Un chequeo de manipulación sobre cómo los participantes realmente percibieron al confederado a lo largo de la dimensión pretendida se vuelve esencial aquí, de la misma manera que una prueba piloto confirmaría que la personalidad guionizada de un confederado humano se presentó como se pretendía.

Adecuación del paradigma

Un confederado de IA se adapta a paradigmas donde la interacción se puede especificar de antemano o generar a partir de un conjunto limitado de tipos de respuesta, escenarios de engaño, intercambios de presión social estructurados, tareas de negociación y regateo con un espacio de oferta definido. Un estudio de negociación con IA es uno de los ajustes más claros aquí, ya que las ofertas y contraofertas caen dentro de un espacio definido en lugar de requerir improvisación abierta. Se adapta menos a paradigmas donde la interacción depende de que el confederado improvise de manera convincente fuera de ese espacio limitado, o donde el engaño depende específicamente de que el participante crea que está tratando con un par humano de mismo estatus en un contexto donde una presencia de IA, una vez sospechada, colapsaría la manipulación por completo.

En la implementación de Labvanced: la acción Send to OpenAI genera el lado del confederado de un engaño, presión social o intercambio de negociación dentro de un estudio de un solo participante. El confederado no es un segundo usuario real conectado, por lo que construir estos paradigmas no requiere la infraestructura multiusuario de Labvanced; la sesión del participante es la única activa.

La cuestión de validez abierta

Si un participante engañado por un confederado impulsado por IA se comporta de la misma manera que uno engañado por un confederado humano, en un juego de confianza, un paradigma de conformidad o una tarea de negociación específicamente, aún no se ha probado directamente: la sustitución es lo suficientemente nueva como para que esta comparación directa simplemente no se haya realizado aún. Es plausible que sospechar o descubrir la presencia de IA cambie las apuestas sociales de la interacción de maneras que un confederado humano no lo hace, lo que significaría que un confederado de IA intercambia un confuso de consistencia humana por uno diferente, específico de IA, en lugar de simplemente eliminar un confuso. Un uso riguroso de un confederado de IA trata esto como una cuestión empírica abierta a verificar, por ejemplo, a través de una verificación de manipulación sobre si los participantes creían correctamente que estaban interactuando con un humano, en lugar de una suposición resuelta por diseño.

Preguntas Frecuentes

Lectura Adicional

¿Está trabajando en un diseño de interacción diádica o grupal y quiere el contexto más amplio? El efecto diádico en la investigación psicológica cubre cómo la presencia de otra parte cambia el comportamiento individual en diseños emparejados, el mismo territorio en el que opera un confederado humano o de IA. Un patrón relacionado aparece donde se involucra a más de un simple par, cubierto en investigación sobre dinámicas de equipo.

Donde un paradigma de negociación o regateo es el diseño objetivo, la página de tarea del Juego del Ultimátum es un ejemplo concreto de la estructura de espacio de oferta acotado que un confederado de IA está bien posicionado para generar dentro de.