Confederado de IA: Metodología y Validez

Un confederado de IA es un agente basado en un guion o modelo que reemplaza a un cómplice humano en paradigmas de engaño, presión social y negociación. A diferencia de un confederado humano entrenado, su comportamiento puede ser especificado, registrado y reproducido exactamente en todos los participantes, lo cual es el argumento metodológico central para usar uno, y también la razón por la cual debe ser evaluado como una decisión de diseño en lugar de adoptarse por defecto.

Esta página trata la IA como una herramienta que asume un rol humano dentro de un paradigma clásico: la IA es el instrumento, no lo que se mide. Esa es una pregunta diferente de los estudios en los que la IA misma es el sujeto en estudio, cubierto en las preguntas frecuentes a continuación.

Qué Cuenta como un Confederado de IA

Un confederado, en el sentido clásico, es alguien que aparece ante el participante como otro participante o un compañero de interacción ordinario, pero que en realidad actúa según un guion controlado por el experimentador, más familiar en paradigmas de engaño (un co-participante falso en un estudio de conformidad), paradigmas de presión social (un compañero que se comporta de manera no cooperativa en un juego de confianza) y tareas de negociación o regateo (un contrapartida cuyas ofertas siguen un patrón predeterminado). Un confederado de IA reemplaza a ese cómplice humano con un agente basado en un modelo: el participante aún cree, o es llevado a creer, que está interactuando con otra parte en el estudio, pero las respuestas de la parte son generadas o guionadas a través de un sistema de IA en lugar de ser interpretadas por un actor humano entrenado.

Este no es un nuevo diseño experimental. Es un enfoque alternativo dentro de diseños que ya existen, y el campo ya tiene una versión de menor tecnología de la misma idea: la propia documentación de estudios multiusuario de Labvanced describe una estrategia de "oponente virtual", donde se le dice a un participante que está jugando contra otro participante, pero el otro lado es en realidad un algoritmo que toma decisiones aleatorias. Ese enfoque es un genuino antecesor de la idea del confederado de IA, pero uno limitado: un algoritmo de elección aleatoria no puede mantener un intercambio scripted de presión social, negociar o sostener una conversación engañosa creíble. Lo que la IA generativa añade es la capacidad de producir lenguaje natural y sensible al contexto, y en algunos diseños, audio o imágenes, en lugar de la improvisación en vivo de un confederado humano, lo que hace viable este enfoque para paradigmas que un algoritmo de elección aleatoria nunca podría soportar.

El Caso por un Confederado de IA

Un confederado de IA no es un reemplazo total para un humano; es otra opción viable, y en algunos diseños más poderosa. Cuatro consideraciones argumentan a favor de esto: control, replicabilidad, ética y escala.

Control

A un confederado humano entrenado se le pide que reproduzca un protocolo de comportamiento fijo en todos los participantes: el mismo tono, la misma resistencia, el mismo tiempo de una concesión en una tarea de negociación. En la práctica, los confederados se desvían. La fatiga, el estado de ánimo y la experiencia acumulada tras realizar muchas sesiones introducen variación que el investigador no diseñó, y esa variación es un confusor porque se correlaciona con el tiempo y el orden de las sesiones, en lugar de con la manipulación experimental. Un agente de IA que genera desde un aviso fijo y una configuración fija no se fatiga ni acumula experiencia de sesión de la manera en que lo hace una persona, lo que elimina esa fuente específica de deriva entre sesiones, aunque introduce sus propios requisitos de consistencia (vea más abajo).

En la implementación de Labvanced: la misma configuración Send to OpenAI se ejecuta sin cambios en cada sesión de la tarea, ya que es una configuración fija en lugar de un protocolo que una persona debe reproducir de memoria cada vez.

Replicabilidad

El comportamiento exacto de un confederado humano rara vez está completamente especificado en una sección de métodos. Incluso un guion detallado deja huecos que un actor humano llena con juicio, por lo que un laboratorio diferente que intenta replicar el estudio reproduce una aproximación al rendimiento del confederado original, no el rendimiento en sí. Un aviso documentado, la versión del modelo y los parámetros de generación son una especificación completa y portátil: otro laboratorio puede ejecutar la configuración idéntica en lugar de entrenar a un nuevo actor para aproximarse al original.

En la implementación de Labvanced: la versión del modelo, la temperatura y el aviso en sí se guardan directamente en la configuración de la tarea, por lo que la especificación completa que esta sección exige no es un trabajo de documentación extra; es lo que ya está almacenado.

Ética

Engañar a un participante con un cómplice humano en vivo conlleva un peso ético que la mayoría de los procesos de revisión institucional ya requieren que los investigadores justifiquen y desglosen: una persona real fue, en cierto sentido, cómplice del engaño. Un confederado generado por IA cambia la textura ética de ese arreglo, aunque no elimina el engaño subyacente en el diseño del estudio, que aún requiere el mismo manejo de desgloses y consentimientos que requiere cualquier paradigma de engaño. Esto suaviza una dimensión ética específica del uso de confederados; no hace que los paradigmas de engaño sean éticamente más simples en general.

Escala

Los estudios en línea y remotos pueden reclutar a muchos más participantes de los que una sola sesión de laboratorio podría, y eso crea un problema de escalamiento específico para los confederados humanos: cada participante adicional necesita otra sesión de confederado, por lo que una muestra más grande significa reclutar, entrenar y programar más confederados, además de mantener a todos ellos comportándose de manera consistente entre sí, además de cubrir la deriva entre confederados que ya se aborda en Control (arriba). Un confederado de IA no tiene este problema. La misma configuración se ejecuta para el milésimo participante exactamente como lo hizo para el primero, sin necesidad de personal adicional, entrenamiento o controles de consistencia entre confederados que gestionar. Eso es lo que hace que un confederado de IA sea especialmente adecuado para investigaciones en línea con grandes muestras.

En la implementación de Labvanced: la misma configuración de confederado de IA se ejecuta sin modificaciones, ya sea que un estudio recopile 20 participantes o 2,000, ya que se trata de un ajuste de tarea en lugar de personal que debe escalar con el tamaño de la muestra.

Consideraciones Metodológicas al Usar Confederados de IA

Adoptar un confederado de IA no es una elección de enchufar y jugar. Introduce sus propios requisitos de diseño, y omitirlos simplemente cambia una confusión de confederado humano por una de modelo-confederado.

Controlando el comportamiento de la IA como variable independiente

Si las respuestas del confederado de IA varían de manera impredecible entre los participantes, en tono, en cuán cooperativo o no cooperativo parece, en la longitud de las respuestas, el estudio ha reintroducido exactamente el tipo de variación descontrolada que un confederado de IA está destinado a eliminar. La integración de IA y investigación en psicología de Labvanced, construida sobre la generación de texto, imagen y audio nativos de OpenAI, expone los parámetros específicos que un investigador necesita para tratar el comportamiento del confederado como una variable controlada en lugar de una suposición:

• Un Model Version fijado durante la duración del estudio, de modo que una actualización de modelo del lado del proveedor entre sesiones no pueda cambiar el comportamiento del confederado en medio del estudio.
• Un mensaje de system-rol detallado, establecido a través de Insert Message, que pone en escritura la personalidad y los límites del comportamiento del confederado en lugar de dejarlos al juicio predeterminado del modelo: qué registro de lenguaje y jerga encajan en el grupo de participantes, cuán lejos debe extenderse su conciencia de los eventos actuales y cómo debe responder si un participante pregunta directamente si es una IA.
• Temperature establecido hacia el extremo determinista de su rango para un confederado con sensación de guion, ya que la temperatura gobierna cuán aleatoria frente a predecible es la respuesta generada.
• Max Tokens limitado para mantener la longitud de respuesta consistente entre los participantes, ya que un confederado sin límite puede variar ampliamente en cuánto dice de una sesión a la siguiente.
• Para confederados basados en audio, un Voice fijo y Instructions escrito (por ejemplo, especificando una entrega neutral y calmada) para mantener el tono vocal constante entre los participantes en lugar de dejarlo variar de prueba a prueba.
• Un Chat History Dataframe vinculado, de modo que el intercambio completo con cada participante se registre y esté disponible para la verificación post-hoc de que el confederado se comportó de manera consistente, el mismo tipo de auditoría que proporciona un chequeo de manipulación para la adherencia al guion de un confederado humano.

Juntas, estas configuraciones ayudan a garantizar una mayor consistencia en el rendimiento de genAI entre sesiones. Son palancas que un investigador tiene que accionar deliberadamente, de la misma manera que un estudio con confederado humano requiere un protocolo de entrenamiento y verificaciones de fidelidad entre sesiones en lugar de suponer que un actor reproducirá un guion sin ayuda.

Chat basado en Texto de OpenAI

Esta plantilla establece el canal de comunicación en tiempo real entre Labvanced y OpenAI, la base sobre la que depende cualquier estudio basado en confederados construido sobre esta integración. Úsala como punto de partida y modifica el aviso, el modelo y los parámetros para que se ajusten a tu paradigma.

Nota: Para esta demostración en particular, la longitud del token (es decir, la longitud de la respuesta) se establece en 100 y la temperatura (es decir, creatividad) se establece en 1. Esto puede ajustarse en Configuración del Estudio.

Diseño de aviso como variable de validez

El mensaje de system-rol es donde el investigador escribe toda la política de comportamiento del confederado a mano: su registro de lenguaje y jerga, cuán lejos se extiende su conciencia de los eventos actuales y cómo responde si un participante pregunta directamente si es una IA. Dos laboratorios que ejecutan la misma sustitución con una calibración de jerga diferente, un corte de eventos actuales diferente, o una respuesta guionizada diferente a la pregunta de la IA podrían obtener un comportamiento de confederado significativamente diferente, una forma de sensibilidad al aviso bien documentada en la investigación de modelos de lenguaje en general (Zhuo et al., 2024). Un estudio que encuentra que los participantes responden de manera diferente a un confederado de IA que a uno humano podría estar detectando un efecto de sustitución genuino, o podría estar detectando un aviso subespecificado o mal diseñado en una de estas dimensiones. Tratar el diseño del aviso como una variable que debe ser reportada y escrutada, en lugar de un detalle de implementación, es lo que hace que esas dos explicaciones sean distinguibles.

En la implementación de Labvanced: este es el mensaje de system-rol establecido a través de Insert Message, guardado una vez como parte de la tarea en lugar de ser escrito nuevamente para cada sesión, lo que hace posible reportar y auditar exactamente como se escribió.

La misma autoría también abre un uso deliberado: un investigador puede variar el aviso del sistema a través de condiciones como la manipulación misma, por ejemplo, un confederado de persona cooperativa versus un confederado de persona competitiva en una tarea de negociación. Aquí el aviso es en sí mismo la variable independiente, varía deliberadamente entre condiciones en lugar de mantenerse constante, y la barra metodológica se desplaza en consecuencia: las variantes de aviso necesitan diferir solo a lo largo de la dimensión prevista (cooperativa vs. competitiva) en lugar de incidentalmente a través de otras (longitud, formalidad, vocabulario), o la manipulación se confunde antes de que comience el estudio. Un chequeo de manipulación sobre cómo los participantes realmente percibieron al confederado a lo largo de la dimensión prevista se vuelve esencial aquí, de la misma manera que una prueba piloto confirmaría que la personalidad guionizada de un confederado humano se presentó como se pretendía.

Ajuste del paradigma

Un confederado de IA se adapta a paradigmas donde la interacción puede especificarse por adelantado o generarse a partir de un conjunto limitado de tipos de respuesta, escenarios de engaño, intercambios de presión social estructurada, tareas de negociación y regateo con un espacio de ofertas definido. Un estudio de negociación de IA es uno de los ajustes más claros aquí, ya que las ofertas y contraofertas caen dentro de un espacio definido en lugar de requerir improvisación abierta. Se adapta menos bien a paradigmas donde la interacción depende de que el confederado improvise de manera convincente fuera de ese espacio limitado, o donde el engaño depende específicamente de que el participante crea que está interactuando con un par humano de igual estatus en un contexto donde la presencia de una IA, una vez sospechada, colapsaría la manipulación por completo.

En la implementación de Labvanced: la acción Send to OpenAI genera el lado del confederado de un engaño, presión social o intercambio de negociación dentro de un estudio de un solo participante. El confederado no es un segundo usuario real conectado, por lo que construir estos paradigmas no requiere la infraestructura de múltiples usuarios de Labvanced, la sesión del participante es la única activa.

La cuestión de validez abierta

Si un participante que es engañado por un confederado impulsado por la IA se comporta de la misma manera que uno engañado por un confederado humano, en un juego de confianza, un paradigma de conformidad, o una tarea de negociación específicamente, aún no se ha probado directamente: la sustitución es lo suficientemente nueva como para que esta comparación directa simplemente no se haya realizado aún. Es plausible que sospechar o descubrir una presencia de IA cambie las apuestas sociales de la interacción de formas que un confederado humano no lo hace, lo que significaría que un confederado AI intercambia un confusión de consistencia humana por una diferente, específica de la IA, en lugar de simplemente eliminar una confusión. Un uso riguroso de un confederado AI trata esto como una cuestión empírica abierta que debe verificarse, por ejemplo, a través de una verificación de manipulación sobre si los participantes creían correctamente que estaban interactuando con un humano, en lugar de una suposición resuelta por diseño.

Preguntas Frecuentes

Lectura Adicional

IA y Investigación Psicológica

Capacidad de la plataforma: generación nativa de texto, imagen y audio de OpenAI integrada directamente en el flujo experimental.

Enviar a la Acción de OpenAI

Guía de implementación: la acción y parámetros (versión del modelo, temperatura, voz, instrucciones) utilizados para configurar un confederado AI controlado.

¿Está trabajando en un diseño de interacción diádica o grupal y desea el contexto más amplio? El efecto diádico en la investigación psicológica cubre cómo la presencia de otra parte cambia el comportamiento individual en diseños emparejados, el mismo territorio en el que opera un confederado humano o AI. Un patrón relacionado aparece siempre que se involucra a más de un simple par, cubierto en investigación sobre dinámica de equipos.

Donde un paradigma de negociación o regateo es el diseño objetivo, la página de tarea del Juego del Ultimátum es un ejemplo concreto de la estructura de espacio de oferta acotado que un confederado AI está bien equipado para generar dentro de él.