Seguimiento Ocular de Labvanced

Contenidos:

1. Introducción: Seguimiento ocular por webcam innovador y preciso
2. Publicación revisada por pares: Seguimiento ocular basado en webcam de Labvanced
3. Antecedentes - ¿Qué es el seguimiento ocular por webcam?
4. Nuestro proceso: ¿Cómo funciona el seguimiento ocular por webcam de Labvanced?
5. Sobre arquitectura del sistema y flujo de datos de seguimiento ocular
6. Características clave del seguimiento ocular por webcam de Labvanced
7. Datos de muestra y métricas del seguimiento ocular por webcam
8. Ejemplos de incorporación de datos de seguimiento ocular por webcam en el diseño de experimentos
9. Artículos de investigación que utilizan el seguimiento ocular basado en webcam de Labvanced
10. Estudios de la biblioteca de Labvanced

Introducción: Seguimiento ocular por webcam innovador y preciso

Investigadores de todo el mundo han empleado nuestra tecnología de seguimiento ocular basada en webcam para comprender mejor la atención.

Ahora, con una publicación revisada por pares en mano, puedes utilizar con confianza esta innovadora tecnología basada en webcam.

Lee este artículo revisado por pares en la revista Behavior Research Methods que compara la precisión de nuestra solución de seguimiento ocular basada en webcam con EyeLink.

Publicación revisada por pares: Seguimiento ocular basado en webcam de Labvanced

HALLAZGOS CLAVE

• El seguimiento ocular basado en webcam de Labvanced tiene una precisión general de 1.4° y una precisión de 1.1° con un error de aproximadamente 0.5° mayor que el sistema EyeLink
• Curiosamente, tanto la precisión como la exactitud mejoran (a 1.3° y 0.9°, respectivamente) cuando se presentan objetivos visuales en el centro de la pantalla, algo que es importante que los investigadores tomen en cuenta dado que el centro de la pantalla es donde se presentan estímulos en muchos experimentos de psicología.
• Para tareas de visualización libre y seguimiento suave, la correlación fue de alrededor del 80% entre los datos de miradas de Labvanced y EyeLink. Para una demostración visual de cómo se ve esta correlación, consulta la imagen a continuación que muestra la superposición entre los puntos de datos entre Labvanced (puntos azules) y EyeLink (puntos rojos).
• Además, la precisión fue consistente a través del tiempo.

Fig 1. Gráficos del artículo de investigación (tomados de la publicación - Fig.7), una demostración visual de cómo se ve esta correlación, en una tarea de seguimiento suave, mostrando la superposición entre los puntos de datos entre Labvanced (puntos azules) y EyeLink (puntos rojos). Para tareas de visualización libre y seguimiento suave, la correlación fue de alrededor del 80% entre los datos de miradas de Labvanced y EyeLink.

Cita este artículo:

• Kaduk, T., Goeke, C., Finger, H. et al. El seguimiento ocular por webcam cercano a los estándares de laboratorio: Comparando un nuevo sistema basado en webcam y el EyeLink 1000. Behav Res (2023). https://doi.org/10.3758/s13428-023-02237-8
  

Antecedentes - ¿Qué es el seguimiento ocular por webcam?

El seguimiento ocular en línea se realizó por primera vez hace poco más de 5 años por Web Gazer y todavía se utiliza hoy en día. Si bien esta solución funciona con una señal a través de un plano de 4 cuadrantes que puede distinguir entre izquierda/derecha y arriba/abajo, ha recibido críticas por ser poco refinada debido a la alta tasa de error, especialmente cuando mueves la cabeza, lo cual es inevitable.

Aunque Web Gazer ha sido pionero en llevar el seguimiento ocular a la web mundial, no se puede utilizar de manera confiable para fines científicos y experimentos rigurosos. Existen algunas otras alternativas, por ejemplo, herramientas para UX, pero actualmente, no hay otro software de seguimiento ocular en la web que se pueda utilizar en línea en un contexto científico para experimentos psicológicos que estudien procesos complejos como la atención visual y la cognición.

Nuestro viaje comenzó hace más de 3 años, donde implementamos una red neuronal profunda para tomar datos visuales de una webcam y analizarlos para proporcionar información sobre el movimiento ocular y de cabeza del participante.

Este video describe el seguimiento ocular por webcam de Labvanced, así como su precisión:

Nuestro proceso: ¿Cómo funciona el seguimiento ocular por webcam de Labvanced?

Con nuestro software de seguimiento ocular basado en la web impulsado por una red neuronal profunda, una imagen de la webcam puede ser traducida en puntos de datos a través del siguiente proceso:

1. Capturar imágenes de la webcam: Desde una webcam habilitada, se toman múltiples fotogramas en tiempo real, creando múltiples imágenes de las cuales se realizará un análisis para la detección de rostros. En este paso, la tarjeta gráfica del usuario es un componente importante porque el aprendizaje de inteligencia artificial depende en gran medida de una tarjeta gráfica (más sobre esto en la siguiente sección).

2. Derivar dos puntos de datos principales: Mientras se realiza la detección de rostros utilizando una red neuronal profunda, se derivan dos puntos de datos principales.

   • Datos de imagen relevantes del área alrededor de los ojos: los píxeles que muestran los ojos y el área alrededor de los ojos.
   • Posición y orientación de la cabeza: los píxeles que muestran dónde está posicionada la cabeza y su orientación en el espacio.

3. Realizar calibración: Finalmente, algo que todo seguimiento ocular necesita es calibración, que es específica del sujeto debido a las diferencias individuales relacionadas con características físicas. Nuestra calibración es una función potente de la webcam que surge de la red neuronal integrada.

Sobre arquitectura del sistema y flujo de datos de seguimiento ocular

Echemos un vistazo más de cerca al proceso y cómo se maneja el seguimiento ocular.

• Primero, como se estableció anteriormente, obtenemos una imagen de la webcam y ejecutamos un algoritmo de detección de rostros (para crear una malla alrededor de las características faciales). Todo esto ocurre muy rápidamente y en tiempo real en el dispositivo del usuario, no en servidores remotos.

• La compensación entre hacer las cosas en tiempo real y en el dispositivo del usuario significa que estamos trabajando con recursos finitos otorgados por las capacidades de la computadora/dispositivo del usuario. Sin embargo, cabe destacar que hay una forma de resolver esto con procesamiento post-hoc.

Ventajas del enfoque de Labvanced para el seguimiento ocular por webcam en tiempo real

Si bien el procesamiento en tiempo real se realiza con recursos limitados, hay algunas ventajas sólidas al hacerlo, tales como:

• Privacidad real: Al realizar los cálculos en el dispositivo del usuario (en lugar de los servidores remotos de la empresa), significa que hay una privacidad real para el participante. Nunca vemos datos faciales porque nunca salen del dispositivo del participante. En esencia, la red neuronal procesa los puntos relevantes de la mirada específicos del participante y los únicos datos que se comunican más allá del dispositivo del participante son valores numéricos, como coordenadas x e y. En una nota relacionada, Labvanced se adhiere al GDPR y tiene certificaciones de seguridad VPAT y proporciona todos los documentos necesarios a los clientes que los soliciten.
• Sostenibilidad: Otro beneficio del procesamiento en tiempo real, además de la privacidad, es la sostenibilidad. Localmente, los datos de análisis de video se pueden manejar más fácilmente. En contraste, al enviar datos a un servidor remoto de la empresa, los costos aumentan, llevando más tiempo y dinero para procesar. Por lo tanto, es más sostenible y económico ejecutar las cosas localmente con recursos finitos, en lugar de de manera remota con servidores y recursos infinitos.

Características clave del seguimiento ocular por webcam de Labvanced

• Alta precisión: El seguimiento ocular por webcam se encuentra en segundo lugar después del seguimiento ocular basado en hardware. Sin embargo, dada su asequibilidad y la usabilidad y flexibilidad que ofrece, el seguimiento ocular por webcam es una alternativa poderosa y viable para muchos investigadores. El seguimiento ocular de Labvanced es la solución líder para proporcionar datos de mirada precisos y confiables.

• Calibración personalizable: Nuestra tecnología de seguimiento ocular verifica y recalibra según tu entorno en constante cambio. Esto ocurre automáticamente, pero es personalizable. Lo predeterminado es que la recalibración ocurra en segundo plano después de 7 ensayos. El sistema se recalibra a sí mismo después de reevaluar factores influyentes como cambios en la luminancia.

• Reposacabezas virtual: Durante los experimentos de seguimiento ocular, se crea una malla sobre el rostro del usuario. Antes de que comience un experimento, el participante debe alinear la malla que aparece sobre su rostro con un objetivo específico. Esto crea un reposacabezas virtual que asegura que el participante permanezca dentro de una zona aceptable. Cuando el participante se aleja del reposacabezas, la tarea se interrumpe y se le pide al participante que se realinee con el reposacabezas virtual. Prueba tú mismo aquí.

Aprende más sobre el reposacabezas virtual en este video:

• Verificación de rendimiento: También ofrecemos una verificación de rendimiento, asegurándote de que los datos de los participantes cumplan con tus estándares. Con el seguimiento ocular basado en la web, se puede cuantificar la velocidad y rendimiento de la computadora del cliente y el investigador puede elegir qué datos de participantes incluir en su estudio. De este modo, cuando un participante tiene una computadora de muy lento funcionamiento (lo que afecta la integridad de sus resultados), podrás saberlo y podrás omitir estos datos de tu conjunto de datos.

• Cálculo del lado del cliente para la privacidad: Como se explicó anteriormente, no tomamos ningún dato o grabaciones a nuestros servidores. Todo el procesamiento ocurre localmente en el dispositivo del cliente, permitiendo una verdadera privacidad.

• Seguimiento ocular amigable para bebés: Al crear un experimento con seguimiento ocular en Labvanced, puedes utilizar la configuración preestablecida de seguimiento ocular amigable para bebés si trabajas con infantes. Hemos implementado con éxito estudios de muchas universidades centrados en esta población especial y hemos adaptado la tecnología de acuerdo con las opiniones y necesidades que provienen directamente de los investigadores. Lee más sobre seguimiento ocular amigable para bebés.

Datos de muestra y métricas del seguimiento ocular por webcam

El seguimiento ocular produce muchas métricas diferentes que luego se utilizan para análisis de datos y sacar conclusiones sobre tu pregunta experimental. Estos datos dependen en gran medida de la ubicación de la mirada, es decir, las coordenadas x e y de la mirada.

La mayoría de estas métricas se generan durante la etapa de análisis de datos, después de la recopilación de datos. La base de estas métricas son las mediciones de la mirada. Si conoces el punto de posición de la mirada en cualquier momento dado, puedes calcular las métricas restantes.

1. Ubicación de la mirada
2. Áreas de interés (AOI)
3. Número de fijaciones
4. Re-visitas
5. Tiempo de permanencia / tiempo gastado
6. Tiempo hasta la primera fijación
7. Duración de la primera fijación
8. Duración promedio de la fijación
9. Secuencias de fijación

Este video discute los datos de nuestra tecnología de seguimiento ocular:

Recolección de datos de seguimiento ocular de Labvanced

Con unos pocos clics, puedes configurar tu experimento para registrar los datos que deseas seleccionando una de las muchas opciones y creando variables para registrarlos.

Fig. 2: Configurando variables en la aplicación de seguimiento ocular de Labvanced para registrar datos experimentales sobre la mirada.

Aquí, en Fig. 2. se crea una variable para registrar las coordenadas X e Y de la mirada, las marcas de tiempo y los niveles de confianza.

Un conjunto de datos de muestra de la aplicación de seguimiento ocular de Labvanced se muestra a continuación en Fig. 3.

Fig 3: Visualización de datos en series temporales con las últimas cuatro columnas de: coordenada x, coordenada y, tiempo UNIX y puntajes de confianza.

El nivel de confianza (columna C) tiene que ver con cuán seguros estamos de la medición y se ve afectado por cuándo ocurren los parpadeos. Las mediciones de ojos bien abiertos reciben más confianza que las mediciones de un ojo que está semi-abierto o en proceso de parpadear.

Comprende cómo se configura el seguimiento ocular en un estudio en Labvanced siguiendo y refiriéndote a este recorrido donde se utilizan SVGs para detectar fijaciones sobre Áreas de Interés (AOIs) o este otro recorrido paso a paso donde se utiliza el seguimiento ocular en una Tarea de Discriminación de Objetos.

Ejemplos de incorporación de datos de seguimiento ocular por webcam en el diseño de experimentos

Al configurar tu estudio en Labvanced, puedes configurar las variables y eventos para hacer muchas cosas, por ejemplo, puedes usar:

• La mirada como entrada / respuesta: Durante el experimento, puedes usar la mirada para seleccionar uno de los dos objetos mirándolo durante un tiempo predeterminado.
• La mirada para controlar algo: En lugar de que el participante use entradas del teclado para controlar elementos en el experimento, puedes crear una respuesta de retroalimentación para que los usuarios puedan controlar o seleccionar objetos en tiempo real con su mirada.
• La mirada para afectar un cambio de propiedad: En este ejemplo, puedes controlar pantallas dependientes de la mirada. Un ejemplo clásico de esto es la ceguera al cambio. Así que en un experimento, puedes rastrear cuando un participante mira el lado izquierdo de la pantalla y cuando esto sucede, puedes cambiar una propiedad (como el color) de un objeto en el lado derecho.
• La mirada para controlar dinámicamente el flujo de un experimento: Los movimientos oculares pueden usarse para determinar cómo progresa una secuencia de pruebas del experimento. Por ejemplo, si un participante mira estímulos rojos, entonces seguirá otra prueba con estímulos rojos en lugar de una con estímulos azules.
• Transmisión de la mirada en experimentos sociales: En experimentos multiusuario, la mirada se puede "transmitir" de una persona a otra, de modo que un participante pueda ver dónde está mirando su pareja o oponente mientras realizan juntos un experimento de 2 personas.
• La mirada para rastrear tareas de lectura: La investigación lingüística utiliza este aspecto del seguimiento ocular para medir pasajes de lectura y cuantificar cuánto tiempo necesitaban los participantes para completar la lectura de un pasaje.
• La mirada para control de calidad en experimentos crowdsourced: Al activar el seguimiento ocular en experimentos crowdsourced, un investigador puede asegurarse de que los participantes realmente pasaron un tiempo leyendo las instrucciones de la tarea.

Consulta este video donde caminamos a través de la creación de un estudio de seguimiento ocular con configuraciones y características especiales como cuadros de chat, distribución de variables y retroalimentación:

Artículos de investigación que utilizan el seguimiento ocular basado en webcam de Labvanced

A continuación se presenta una colección de artículos de investigación publicados recientemente que utilizan el seguimiento ocular por webcam de Labvanced como parte de su metodología para capturar la mirada:

1. Más allá de la densidad construida: De análisis gruesos a finos de experiencias emocionales en entornos urbanos
   Sander, I., et al. (2024).
   Journal of Environmental Psychology

2. El efecto de procesar información parcial en la percepción dinámica de rostros
   Alp, N., Lale, G., Saglam, C., & Sayim, B. (2024).
   Scientific Reports

3. Frustración inconsciente: Evaluando dinámicamente la experiencia del usuario utilizando seguimiento ocular y de mouse
   Stone, S. A., & Chapman, C. S. (2023).
   Proceedings of the ACM on Human-Computer Interaction
   

4. Las dinámicas de la coordinación ojo-mano se preservan de manera flexible en la coordinación ojo-curser durante una tarea de interacción de objetos en línea y digital
   Bertrand, J. K., & Chapman, C. S. (2023)
   Proceedings of the 2023 CHI Conference on Human Factors in Computing Systems

5. Encontrando influencers de Goldilocks: Cómo el recuento de seguidores impulsa el compromiso en las redes sociales
   Wies, S., Bleier, A., & Edeling, A. (2022).
   Journal of Marketing
   

Estudios de la biblioteca de Labvanced

La biblioteca de Labvanced está llena de plantillas de estudio que pueden ser importadas y ajustadas para incluir seguimiento ocular. A continuación, proporcionamos algunos estudios de ejemplo que demuestran nuestra tecnología de seguimiento ocular:

• Tarea de Distractor Objetivo: Un paradigma clásico de seguimiento ocular (el objetivo - 'T' distractor 'P' debe mirar el objetivo de inmediato para encontrarlo.
• Seguimiento Ocular Amigable para Bebés: Una tarea basada en la preferencia visual que comienza con una calibración amigable para bebés.
• Visualización Libre: Muestra una variedad de imágenes y explora dónde se encuentra la mirada del participante en la imagen. Útil para experimentos que desean predecir dónde mirará un participante en la imagen basado en las características existentes de la imagen.
• Prueba de Retroalimentación de la Mirada: Aquí puedes ver tu propia mirada porque aparece un círculo rojo, retroalimentación inmediata que predice dónde estás mirando y muestra un círculo rojo en ese lugar.
• Prueba de Precisión Espacial: Una prueba de calibración estandarizada donde los participantes fijan la vista en diferentes ubicaciones de una cuadrícula, luego se toma la fijación para cada uno de los puntos y se compara la distancia entre el punto en la cuadrícula y el punto predicho.

Una vez más, prueba este recorrido paso a paso y practica construir un estudio de seguimiento ocular de muestra en nuestra aplicación!

¿Necesitas más información?

Si necesitas más soporte o estás curioso sobre una característica en particular, por favor contáctanos a través del chat o correo electrónico. Estamos más que felices de escuchar sobre tu investigación y guiarte a través de cualquier pregunta sobre la plataforma y discutir la viabilidad del proyecto.