Confederado de IA: Metodología y Validez

Un confederado de IA es un agente scriptado o impulsado por modelo que representa a un cómplice humano en paradigmas de decepción, presión social y negociación. A diferencia de un confederado humano entrenado, su comportamiento puede ser especificado, registrado y reproducido exactamente en todos los participantes, que es el argumento metodológico central para usar uno, y también la razón por la que necesita ser evaluado como una decisión de diseño en lugar de adoptarse por defecto.

Esta página trata a la IA como una herramienta que representa un rol humano dentro de un paradigma clásico: la IA es el instrumento, no lo que se está midiendo. Esa es una pregunta diferente de los estudios donde la IA misma es el sujeto bajo estudio, cubierto en las preguntas frecuentes a continuación.

Qué Cuenta Como un Confederado de IA

Un confederado, en el sentido clásico, es alguien que aparece ante el participante como otro participante o un compañero de interacción ordinario, pero de hecho está actuando según un guión que controla el experimentador, más familiar en paradigmas de decepción (un co-participante falso en un estudio de conformidad), paradigmas de presión social (un compañero que se comporta de manera no cooperativa en un juego de confianza), y tareas de negociación o regateo (un contraparte cuyas ofertas siguen un patrón predeterminado). Un confederado de IA reemplaza a ese cómplice humano con un agente impulsado por modelo: el participante todavía cree, o se le hace creer, que está interactuando con otra parte en el estudio, pero las respuestas de la parte son generadas o guionadas a través de un sistema de IA en lugar de ser realizadas por un actor humano entrenado.

Este no es un nuevo diseño experimental. Es un enfoque alternativo dentro de diseños que ya existen, y el campo ya tiene una versión de menor tecnología de la misma idea: la propia documentación de estudios multiusuario de Labvanced describe una estrategia de "oponente virtual", donde se le dice a un participante que está jugando contra otro participante, pero el otro lado es en realidad un algoritmo que hace elecciones aleatorias. Ese enfoque es un verdadero ancestro de la idea del confederado de IA, pero limitado: un algoritmo de elección aleatoria no puede llevar a cabo un intercambio de presión social guionado, negociar, o mantener una conversación engañosa creíble. Lo que la IA generativa agrega es la capacidad de producir lenguaje natural, sensible al contexto, y en algunos diseños audio o imágenes, en lugar de la improvisación en vivo de un confederado humano, que es lo que hace que este enfoque sea viable para paradigmas que un algoritmo de elección aleatoria nunca podría soportar.

El Caso de un Confederado de IA

Un confederado de IA no es un reemplazo total para uno humano; es otra opción viable, y en algunos diseños más poderosa. Cuatro consideraciones argumentan a su favor: control, replicabilidad, ética y escala.

Control

Se le pide a un confederado humano entrenado que reproduzca un protocolo de comportamiento fijo en cada participante: el mismo tono, la misma resistencia, el mismo momento de una concesión en una tarea de negociación. En la práctica, los confederados se desvían. La fatiga, el estado de ánimo y la experiencia acumulada de llevar a cabo muchas sesiones introducen una variación que el investigador no diseñó, y esa variación es un confusor porque se correlaciona con el tiempo y el orden de la sesión en lugar de con la manipulación experimental. Un agente de IA que genera a partir de un aviso fijo y una configuración fija no se fatiga ni acumula experiencia de sesión de la manera en que lo hace una persona, lo que elimina esa fuente específica de desviación entre sesiones, aunque introduce sus propios requisitos de consistencia (ver más abajo).

En la implementación de Labvanced: la misma configuración Send to OpenAI se mantiene sin cambios para cada sesión en la tarea, ya que es una configuración fija en lugar de un protocolo que una persona tiene que reproducir de memoria cada vez.

Replicabilidad

El comportamiento exacto de un confederado humano rara vez se especifica completamente en una sección de métodos. Incluso un guión detallado deja vacíos que un actor humano llena con juicio, por lo que un laboratorio diferente que intenta replicar el estudio está reproduciendo una aproximación del rendimiento del confederado original, no el rendimiento en sí. Un aviso documentado, versión del modelo y parámetros de generación son una especificación completa y portátil: otro laboratorio puede ejecutar la misma configuración en lugar de entrenar a un nuevo actor para aproximarse al original.

En la implementación de Labvanced: la versión del modelo, la temperatura y el aviso en sí se almacenan directamente en la configuración de la tarea, por lo que la especificación completa que esta sección exige no es trabajo de documentación adicional, es lo que ya está almacenado.

Ética

Engañar a un participante con un cómplice humano en vivo conlleva un peso ético que la mayoría de los procesos de revisión institucional ya requieren que los investigadores justifiquen y debrief: una persona real fue, en cierto sentido, cómplice en el engaño. Un confederado generado por IA cambia la textura ética de ese arreglo, aunque no elimina el engaño subyacente en el diseño del estudio en sí, que sigue requiriendo el mismo manejo de debrief y consentimiento que cualquier paradigma de engaño requiere. Esto suaviza una dimensión ética específica del uso de confederados; no hace que los paradigmas de engaño sean éticamente más simples en general.

Escala

Los estudios en línea y remotos pueden reclutar a muchos más participantes de los que una sola sesión de laboratorio podría, y eso crea un problema de escala específico para los confederados humanos: cada participante adicional necesita otra sesión de confederado, por lo que una muestra más grande significa reclutar, entrenar y programar más confederados, además de mantener todos ellos comportándose de manera consistente entre sí, además de la desviación entre confederados que el Control (arriba) ya cubre. Un confederado de IA no tiene este problema. La misma configuración funciona para el milésimo participante exactamente como lo hizo para el primero, sin necesidad de más personal, capacitación o controles de consistencia entre confederados que gestionar. Eso es lo que hace que un confederado de IA sea especialmente adecuado para investigaciones en línea de muestras grandes.

En la implementación de Labvanced: la misma configuración del confederado de IA funciona sin modificaciones, ya sea que un estudio recoja 20 participantes o 2,000, ya que es un ajuste de tarea en lugar de personal que debe escalar con el tamaño de la muestra.

Consideraciones Metodológicas al Utilizar Confederados de IA

Adoptar un confederado de IA no es una elección de plug-and-play. Introduce sus propios requisitos de diseño, y omitirlos simplemente intercambia una confusión de confederado humano por una de modelo-confederado.

Controlando el comportamiento de la IA como una variable independiente

Si las respuestas del confederado de IA varían de manera impredecible entre los participantes, en tono, en cuán cooperativo o poco cooperativo parece, en la longitud de las respuestas, el estudio ha reintroducido exactamente el tipo de variación no controlada que un confederado de IA está diseñado para eliminar. La integración de investigación en IA y psicología de Labvanced, construida sobre generación de texto, imagen y audio nativa de OpenAI, expone los parámetros específicos que un investigador necesita para tratar el comportamiento del confederado como una variable controlada en lugar de una suposición:

• Un Model Version fijado durante la duración del estudio, de modo que una actualización del modelo del lado del proveedor entre sesiones no pueda cambiar el comportamiento del confederado a mitad del estudio.
• Un mensaje de system-rol detallado, configurado a través de Insert Message, que pone la persona y los límites de comportamiento del confederado por escrito en lugar de dejarlos al juicio por defecto del modelo: qué registro de lenguaje y jerga se ajustan al grupo de participantes, hasta dónde debería extenderse su conocimiento sobre eventos actuales y cómo debería responder si un participante pregunta directamente si es una IA.
• Temperature establecido hacia el extremo determinista de su rango para un confederado con un sentimiento de guion, dado que la temperatura gobierna cuán aleatoria versus predecible es la respuesta generada.
• Max Tokens limitado para mantener la longitud de las respuestas consistente entre los participantes, ya que un confederado sin límite puede variar ampliamente en cuánto dice de una sesión a otra.
• Para confederados basados en audio, un Voice fijo y un Instructions escrito (por ejemplo, especificando una entrega neutral y calma) para mantener constante el tono vocal entre los participantes en lugar de dejar que varíe de prueba a prueba.
• Un Chat History Dataframe vinculado, de modo que todo el intercambio con cada participante esté registrado y disponible para verificación posterior de que el confederado se comportó de manera consistente, el mismo tipo de auditoría que proporciona un chequeo de manipulación para la adherencia al guion de un confederado humano.

Juntos, estos ajustes ayudan a garantizar una mayor consistencia en el rendimiento de genAI a través de las sesiones. Son palancas que un investigador debe accionar de manera deliberada, de la misma forma que un estudio con un confederado humano requiere un protocolo de entrenamiento y chequeos de fidelidad entre sesiones en lugar de asumir que un actor reproducirá un guion sin ayuda.

Chat basado en texto de OpenAI

Esta plantilla configura el canal de comunicación en tiempo real entre Labvanced y OpenAI, la base sobre la cual se basa cualquier estudio con confederados construido sobre esta integración. Úsala como punto de partida y modifica el aviso, modelo y parámetros para adaptarlos a tu paradigma.

Nota: Para esta demostración en particular, la longitud del token (es decir, la longitud de la respuesta) está configurada en 100 y la temperatura (es decir, creatividad) está configurada en 1. Esto se puede ajustar en la Configuración del Estudio.

Diseño del aviso como variable de validez

El mensaje de system-rol es donde el investigador escribe toda la política de comportamiento del confederado a mano: su registro de lenguaje y jerga, hasta dónde se extiende su conocimiento sobre eventos actuales y cómo responde si un participante pregunta directamente si es una IA. Dos laboratorios que ejecutan la misma sustitución con diferentes calibraciones de jerga, un corte de eventos actuales diferente o una respuesta guionizada diferente a la pregunta de IA podrían obtener comportamientos de confederados significativamente diferentes, una forma de sensibilidad al aviso bien documentada en la investigación de modelos de lenguaje en general (Zhuo et al., 2024). Un estudio que encuentra que los participantes responden de manera diferente a un confederado de IA que a uno humano podría estar detectando un efecto de sustitución genuino, o podría estar detectando un aviso mal especificado o mal diseñado en una de estas dimensiones. Tratar el diseño del aviso como una variable que se informe y examine, en lugar de como un detalle de implementación, es lo que hace que esas dos explicaciones sean distinguibles.

En la implementación de Labvanced: este es el mensaje de system-rol establecido a través de Insert Message, guardado una vez como parte de la tarea en lugar de ser tipeado de nuevo para cada sesión, lo que hace posible informar y auditar exactamente como fue escrito.

La misma autoría también abre un uso deliberado: un investigador puede variar el aviso del sistema entre condiciones como la manipulación en sí misma, por ejemplo, un confederado de persona cooperativa versus un confederado de persona competitiva en una tarea de negociación. Aquí el aviso es en sí mismo la variable independiente, deliberadamente variada entre condiciones en lugar de mantenerse constante, y el bar metodológico cambia en consecuencia: las variantes del aviso necesitan diferir solo a lo largo de la dimensión pretendida (cooperativa vs. competitiva) en lugar de incidentalmente a lo largo de otras (longitud, formalidad, vocabulario), o la manipulación se confunde antes de que comience el estudio. Un chequeo de manipulación sobre cómo los participantes realmente percibieron al confederado a lo largo de la dimensión pretendida se vuelve esencial aquí, de la misma manera que una prueba piloto confirmaría que la persona guionizada de un confederado humano se presentó como se pretendía.

Ajuste de paradigma

Un confederado de IA se adecúa a paradigmas donde la interacción puede especificarse con antelación o generarse a partir de un conjunto limitado de tipos de respuesta, escenarios de engaño, intercambios de presión social estructurada, tareas de negociación y regateo con un espacio de ofertas definido. Un estudio de negociación de IA es uno de los ajustes más claros aquí, ya que las ofertas y contraofertas caen dentro de un espacio definido en lugar de requerir improvisación abierta. Se adapta menos bien a paradigmas donde la interacción depende de que el confederado improvise de manera convincente fuera de ese espacio delimitado, o donde el engaño depende específicamente de que el participante crea que está tratando con un compañero humano de igual estatus en un contexto donde una presencia de IA, una vez sospechada, colapsaría la manipulación por completo.

En la implementación de Labvanced: la acción Send to OpenAI genera el lado del confederado de un engaño, presión social o intercambio de negociación dentro de un estudio de un solo participante. El confederado no es un segundo usuario real conectado, por lo que construir estos paradigmas no requiere la infraestructura multiusuario de Labvanced; la sesión del participante es la única activa.

La cuestión de validez abierta

Si un participante engañado por un confederado impulsado por IA se comporta de la misma manera que uno engañado por un confederado humano, en un juego de confianza, un paradigma de conformidad o una tarea de negociación específicamente, no ha sido probado directamente: la sustitución es lo suficientemente nueva que esta comparación directa simplemente no se ha realizado aún. Es plausible que sospechar o descubrir una presencia de IA cambie las apuestas sociales de la interacción de maneras que un confederado humano no lo hace, lo que significaría que un confederado de IA intercambia un conflicto de consistencia humana por otro diferente y específico de la IA en lugar de simplemente eliminar un conflicto. Un uso riguroso de un confederado de IA trata esto como una cuestión empírica abierta que debe ser verificada, por ejemplo, a través de una verificación de manipulación sobre si los participantes creían correctamente que estaban interactuando con un humano, en lugar de una suposición resuelta por diseño.

Preguntas Frecuentes

Lectura Adicional

¿Trabajando en un diseño de interacción diádica o grupal y quieres el contexto más amplio? El efecto diádico en la investigación psicológica cubre cómo la presencia de otra parte cambia el comportamiento individual en diseños emparejados, el mismo territorio en el que opera un confederado humano o de IA. Un patrón relacionado aparece donde hay más de un par simple involucrado, cubierto en investigación sobre dinámicas de equipo.

Donde un paradigma de negociación o regateo es el diseño objetivo, la página de tarea del Juego del Ultimátum es un ejemplo concreto de la estructura de espacio de oferta limitado que un confederado de IA está bien equipado para generar dentro de.