Guía de seguimiento ocular
Bienvenido a la primera guía de Labvanced que presenta la guía de configuración de seguimiento ocular para tu próximo proyecto. En general, este contenido informativo se dividirá en cuatro partes, comenzando con la verificación de la configuración general del sistema antes de crear un estudio y, finalmente, llegando a la explicación de la vista de datos. Más allá de este documento paso a paso, el contenido del video tutorial también está disponible en el tutorial en video de Labvanced, junto con todas las demás guías para ayudarte en la creación de tu experimento en línea. Sin más preámbulos, profundicemos en la creación del estudio de seguimiento ocular.
Parte I: Configuración del sistema
Primero, es esencial seleccionar Labvanced V2 para la medición de seguimiento ocular (Figura 1 a continuación) utilizando nuestro algoritmo de aprendizaje profundo. Después, hay tres opciones para elegir la duración de la calibración. La opción predeterminada estándar es de 5 minutos, pero el experimentador también puede elegir calibración de <1 min, 3 mins o 8 mins. La duración más larga requerirá más calibración de la posición de la cabeza, con puntos de fijación aumentados que proporcionan la mayor precisión de medida óptima. Sin embargo, considerando el tipo de estudio y los participantes que se someterán al experimento, la duración más corta también podría ser óptima para mitigar el tiempo y la fatiga de los participantes, especialmente si tienes bebés en tu estudio.
Figura 1. Pantalla inicial en la página de Configuración del Estudio. El experimentador debe seleccionar la opción Activar Seguimiento Ocular para ajustar las siguientes selecciones dentro del cuadro rojo mostrado.
Hablando de bebés, hay opciones adicionales para optimizar las lecturas de la mirada de los jóvenes participantes seleccionando opciones de imágenes de animales para los Tipos de imágenes de calibración. La pantalla de calibración de animales podría combinarse con la selección de Modo amigable para bebés (ver Figura 1). Seleccionar esta opción ajustará automáticamente la calibración más corta y el sonido acompañante (que también puede estar apagado) para ayudar a la atención del bebé y disminuir el aburrimiento. En la misma sección, la opción Mostrar Cuadrícula podría ayudar al participante a anticiparse al siguiente punto de calibración para facilitar el proceso de calibración óptimo.
Justo debajo de la opción Mostrar Cuadrícula, también hay una opción para marcar Mostrar Videos de Prueba Iniciales (ver Figura 1). Los participantes se verían a sí mismos en la transmisión de video con la superposición de malla facial antes de la calibración principal al seleccionar esto. La importancia de la malla facial se explicará más adelante en esta guía, pero tener el video de prueba se recomienda encarecidamente para ver si la computadora del participante puede manejar la medición de seguimiento ocular de la cámara web. Como recomendación, es ideal usar una computadora con una GPU separada para un seguimiento ocular óptimo. Supongamos que el hardware no es óptimo del lado del participante. En ese caso, el video de prueba inicial permanecerá estático y no avanzará, sirviendo como la comprobación inicial de si el participante debe continuar el estudio. En este caso de hardware de computadora menos óptimo, pueden abortar el estudio y ayudar al experimentador con menos ruido de datos en los datos globales.
Además, el experimentador también puede seleccionar la opción Alineación de Posición de la Cabeza en la misma pantalla de configuración, que sirve como el reposapiés virtual. Esta medida adicional tiene como objetivo imitar la función del reposacabezas físico utilizado en el entorno de laboratorio, donde la barbilla se posiciona sobre el soporte para mantener la cabeza quieta. Al marcar la opción de alineación de posición de la cabeza, Labvanced medirá varias orientaciones de la cabeza durante la etapa de calibración. Más información estará disponible en el párrafo posterior de su proceso específico. Incluir la posición de la cabeza en la medición ocular mejorará la calidad de los datos al mitigar el ruido confundido por la desalineación de la cabeza. Supongamos que los participantes mueven significativamente su cabeza fuera de la pose central. En ese caso, el programa interrumpirá el estudio y pedirá al participante que realinee y se enfoque en el reposapiés virtual, ayudando así al enfoque del participante y manteniendo una posición similar de la cabeza durante el estudio. Más importante aún, controlar la posición de la cabeza también ayudará con la calidad general de tus datos. Aunque se recomienda encarecidamente habilitar esta opción, también hay una opción para ignorar durante la ejecución experimental. Dependiendo de los participantes del estudio, mantener la posición de la cabeza continuamente podría ser difícil, especialmente para los bebés, así que esta opción permitiría a los participantes (o padres) desactivar y omitir este proceso durante la ejecución experimental.
Por último, pero no menos importante, también hay una opción para Compartir datos de calibración con Labvanced. Principalmente, esto es para mejorar el algoritmo del seguimiento ocular de Labvanced para una mejor interfaz de usuario, pero esto es completamente opcional según el criterio del investigador. En la siguiente parte, profundizaremos en la página de lienzo para revisar algunos preparativos más antes de la creación del experimento y la grabación de datos.
Parte II: Editor de Tareas
Más allá de prepararse para el estudio de seguimiento ocular con la página de Configuración del Estudio, hay preparativos preliminares adicionales a tener en cuenta en la página de lienzo y la información esencial para crear nuevas variables para almacenar los datos de la mirada.
Señales físicas
Al hacer clic en el botón Señales Físicas en la esquina superior izquierda de la pantalla del lienzo, se abrirá el diálogo con diferentes opciones de seguimiento ocular (ver Figura 2). Primero, querrás habilitar el seguimiento ocular en la edición de tareas para permitir que la medición de la mirada ocurra durante tu estudio. Por supuesto, esto podría deshabilitarse si solo investigas la medida conductual (por ejemplo, tiempo de reacción y precisión).
Figura 2. Pantalla del lienzo dentro de una tarea. El cuadro rojo indica la opción Señales Físicas para habilitar el seguimiento ocular en esta tarea y determinar el número de puntos de fijación para la validación entre ensayos.
Es importante que la calibración principal siempre ocurra antes de la primera tarea de seguimiento ocular. Por ejemplo, si tienes cuatro tareas en una secuencia de bloques para la medición de seguimiento ocular, Labvanced pedirá la calibración antes de la 1ª de las cuatro tareas. Esto permitirá al experimentador planificar adecuadamente cuándo ocurre la calibración dentro de la construcción del estudio.
La otra opción en la misma pantalla de opciones es el Número de Fijaciones que se mostrarán durante la etapa de validación entre cada ensayo (ver Figura 3). Al establecer el valor en cero, se omitiría el proceso de validación. Sin embargo, aumentar el número de fijaciones presentaría más puntos de fijación para validar la medición de seguimiento ocular durante los períodos interensayo. Esto es importante para que el algoritmo de seguimiento ocular mitigue el error sistemático y calcule la corrección por deriva. Por ejemplo, si algunos participantes están más orientados hacia la izquierda o hacia la derecha, el proceso de validación contrarrestará esta deriva para mejorar el error. La otra opción útil es aplicar directamente el desplazamiento haciendo clic en la Corrección de deriva por usuario por ensayo. La última opción a tener en cuenta es el Número de fijaciones a utilizar para la corrección por deriva para la cantidad de puntos que deseas calcular para la corrección por deriva. Durante la corrección, los ensayos anteriores se tienen en cuenta para el cálculo para considerar el error del participante de la calibración principal.
Figura 3. Visualización de las Señales Físicas. El cuadro rojo indica las opciones mostradas dentro de las Señales Físicas con un valor de fijaciones estándar de 3 y un valor de corrección por deriva de 6.
Configuración de la pantalla
Otra cosa vital a tener en cuenta para la edición de tareas son las opciones de configuración de la pantalla. Para la tarea general de Labvanced, la configuración de visualización está establecida en modo Zoom/Adaptativo (ver Figura 4 a continuación) que escalará el marco de visualización para que se ajuste a cada pantalla para la visualización del participante. Pero para el seguimiento ocular, puedes considerar la opción fija en Grado visual o Milímetro. Esto puede ser bastante útil, ya que permitirá rastrear el movimiento ocular del participante en grados visuales en lugar de depender de las unidades del marco de pantalla, lo que también requeriría cálculos adicionales para cuantificar la distancia espacial. El mismo beneficio también podría aplicarse a la medición en milímetros. Críticamente, cambiar la opción de configuración de la pantalla cambiará la visualización de la configuración del estudio, que rastrearemos nuevamente a esa visualización.
Figura 4. Visualización de la Configuración de la Pantalla establecida en el modo predeterminado Zoom/Adaptativo.
Volviendo a la Configuración del Estudio, el cambio de Configuración de la Pantalla permitirá opciones adicionales de Tamaño y Resolución de la Pantalla para definir el tamaño mínimo de la pantalla, ya sea en grados visuales o milímetros (ver Figura 5 a continuación). Sin embargo, la opción Mostrar Calibración de Pantalla siempre estará seleccionada (mostrada en gris), y esto proporciona una plantilla en pantalla que pedirá al participante que sostenga un objeto del tamaño de una tarjeta de crédito frente a la pantalla y ajuste la plantilla para que se ajuste al tamaño físico de la tarjeta. Esta calibración de medida física permite al algoritmo de Labvanced inferir el tamaño de la pantalla para acomodar las variaciones de configuración del monitor diferentes.
Figura 5. Visualización de la página de Configuración del Estudio. El cuadro rojo indica las opciones para establecer un tamaño mínimo de pantalla en grados visuales, milímetros o píxeles. Note que la opción Mostrar Calibración de Pantalla siempre está seleccionada en gris.
Configuración de Eventos y Variables para datos de Seguimiento Ocular
Para grabar los datos de seguimiento ocular, esto se puede hacer creando un nuevo evento. Si un experimentador quiere medir el seguimiento ocular mediante una imagen particular, esto se puede configurar mediante el trigger de Seguimiento Ocular bajo Señales Fisiológicas (ver Figura 6 a continuación). Esto significa que cada vez que la cámara web procesa una imagen o un objetivo; esto activaría la secuencia del evento para una acción particular. Por ejemplo, supongamos que deseas que el elemento específico (por ejemplo, una cruz de fijación) sea el trigger. En ese caso, hay una opción de verificación: Solo activar cuando se mira a elementos específicos, y establecer el objetivo en un artículo particular (por ejemplo, cruz de fijación o imagen). Al no marcar esta opción, el seguimiento ocular registrará todo lo que esté seguido por la acción de grabación.
Figura 6. Visualización de la configuración del Evento para grabar el seguimiento ocular. La casilla de verificación bajo el Tipo de Trigger indica la opción de activación al mirar elementos específicos, como la cruz de fijación o imagen.
Para establecer la variable de grabación, utiliza la acción típica Establecer/Grabar variable, y en el lado derecho, sigue el Usar Trigger (Seguimiento Ocular) para proceder a la opción de datos. Idealmente, se recomienda seleccionar el [X, Y, T, C] array (ver Figura 7), ya que esto proporcionará todas las mediciones de mirada cruciales de:
- X = Coordenada en el marco X
- Y = Coordenada en el marco Y
- T = Marca de tiempo UNIX
- C = Confianza en la detección ocular para parpadeo/detección de error
Figura 7. Visualización de la configuración del Evento para grabar las mediciones de seguimiento ocular.
En el lado izquierdo de la acción Establecer/Grabar variable, una variable (idealmente una nueva variable) almacenará los datos de seguimiento ocular. Al crear una nueva variable, es crucial establecer el Formato de variable en Data Frame Array - ya que el [X, Y, T, C] es un dato de array, y establecer el Tipo de Datos en Numérico (ver Figura 8 a continuación). Por último, es importante cambiar el tipo de Grabación a Todos los cambios/Series temporales. Discutiremos más información sobre la serie temporal en una sección posterior, pero en general, esta opción permite grabar múltiples valores por ensayo, en lugar de solo el valor final al final del ensayo. Sería ideal para examinar múltiples miradas, tiempos y puntajes de confianza en la grabación dentro de un ensayo para que la serie temporal proporcione más matices a la medición general del seguimiento ocular.
Figura 8. Visualización de la nueva configuración de variable para almacenar las mediciones de seguimiento ocular. El cuadro rojo superior indica el Formato establecido en Array y el Tipo de Datos en Numérico. Más allá de estas dos configuraciones importantes, el segundo cuadro rojo debajo también muestra la opción crítica de Series Temporales que sería requerida para ver las múltiples mediciones de mirada en un ensayo.
Parte III: Creación del estudio
Supongamos que un investigador quiere crear una tarea de discriminación de objetos (Figura 9A) utilizando un clic del ratón con n número de ensayos usando la medición de seguimiento ocular. Esto podría configurarse utilizando el trigger del ratón y la acción Establecer/Grabar (ver Figura 9A y 9B). La acción de salto podría seguir a esto para pasar al siguiente ensayo.
Figura 9. Visualización del lienzo con la configuración de discriminación de objetos con dos presentaciones de imágenes (A) con la configuración de eventos utilizando el trigger del ratón (B) y la acción configurada (C) para grabar la imagen seleccionada con la posterior acción de salto.
Más allá de grabar el clic del ratón, la configuración de seguimiento ocular requiere dos grabaciones de variables más que son cruciales para la medición de la mirada. Estas son, Error de calibración y Error de ensayo que deben ser activadas por el Inicio del Marco y proceder a la acción Establecer/Grabar para almacenar nuevas variables (ver Figura 10 a continuación). El Error de calibración proporciona un solo valor numérico que indica la precisión de la calibración principal, y el Error de ensayo se refiere a la precisión durante cada ensayo individual. Una discusión posterior en la sección de vista de datos proporcionará más información sobre estas dos lecturas.
Figura 10. Visualización de la creación de eventos para Error de calibración y Error de ensayo.
Es importante tener en cuenta que el fondo debería ser el mismo durante la tarea de calibración principal durante un estudio de seguimiento ocular. Por ejemplo, en la Figura a continuación, la pantalla muestra un fondo blanco con dos estímulos pictóricos. Este fondo debería ser el mismo en la página de Configuración del Estudio (ver Figura 11) bajo Color de fondo general, que es el mismo fondo que Labvanced utilizará para la calibración principal. Si los colores son diferentes entre la calibración principal y la fase del estudio, esto podría resultar en posibles errores en los datos, llevando a una confusión experimental.
Figura 11. Visualización de la página de configuración del estudio. El cuadro rojo indica el color de fondo que debería ser el mismo que el de la página del lienzo durante la creación principal del estudio.
Durante la fase de grabación del estudio, habrá una revisión inicial corta del video (ver Figura 12). Como se mencionó anteriormente, aquí es donde los participantes se verán a sí mismos en la superposición de la malla facial en azul antes de la iniciación del estudio. Este también es el momento en que el participante evaluará si el video funciona sin ningún error; de lo contrario, esto indicaría que el hardware es inadecuado para procesar el video rápidamente. Si este es el caso, el investigador instruye a los participantes para que aborten el estudio, ahorrando tiempo innecesario de su parte y disminuyendo la deserción con los datos globales.
Figura 12. Visualización de la revisión preliminar de procesamiento de video/cámara web con superposición de malla azul.
Si el participante avanza después de la fase de verificación de video, se mostrará la instrucción de calibración con instrucciones de pantalla predeterminadas. El experimentador podría cambiar la instrucción; de lo contrario, el consejo general animará al participante a:
- Estar en una habitación tranquila
- Tener suficiente tiempo
- No usar gafas - la propiedad reflectante de algunos lentes podría afectar la lectura
- Mantener la posición central de la pantalla
Después de esto, se requerirá que el participante coloque su cabeza en varias orientaciones, alineando la malla azul con la máscara verde que sirve como el reposapiés virtual (ver Figura 13). Esto permitirá que el algoritmo se entrene individualmente para cada participante con diferentes orientaciones de cabeza para predecir la posición de los ojos durante los sutiles movimientos de cabeza durante la fase del estudio. Como se mencionó anteriormente sobre la característica importante del reposapiés virtual, las diferentes orientaciones de cabeza que el participante debe seguir cumplirán las mismas funciones que el reposacabezas físico para mitigar la discrepancia de la cabeza. Supongamos que hay una discrepancia significativa entre la malla azul y la máscara verde. En ese caso, el programa interrumpirá para instruir a los participantes a reorientar su posición de cabeza después del respectivo ensayo. Esta interrupción ocurrirá durante la etapa de calibración principal y a lo largo del estudio; tal desalineación significativa de la cabeza será detectada por el seguimiento de la cámara web. Como recordatorio rápido, la duración de la calibración principal variará de <1min a 8 mins, ya que esta última requiere más orientaciones de posición de cabeza con calibración adicional de fijaciones para proporcionar la mejor medida precisa. Por último, a lo largo de los ensayos del estudio, la sesión de validación con un número variable de puntos de fijación estará presente para minimizar la variación de error y mediar lecturas precisas para los puntajes de confianza.
Figura 13. Visualización del proceso de calibración de la cabeza con la máscara verde de “reposapiés virtual”. La primera imagen (A) muestra la determinación de la pose central inicial. La segunda imagen (B) muestra una discrepancia en la ubicación de la cabeza y el diálogo del programa para reposicionar la cabeza al reposapiés virtual verde.
Parte IV: Vista de datos
Después de las ejecución(s) del participante, los datos de seguimiento ocular grabados se pueden ver haciendo clic en la página de Vista de Datos y Exportación (ver Figura 14). Para Labvanced, la plataforma proporciona dos tipos de conjuntos de datos que el experimentador puede descargar: Datos normales y Datos de Series Temporales.
Figura 14. Visualización de Vista de Datos donde se pueden descargar datos estándar y datos de series temporales en el cuadro rojo.
Datos normales
Esta es una estructura convencional del conjunto de datos que mostrará cada variable en columnas, y cada fila representará cada ensayo. El conjunto de datos siempre incluirá un ID único de participante para cada encuestado y la identificación si esto fue necesario en el estudio. Una cosa a tener en cuenta en este conjunto de datos es que el Error de calibración (Error calibración en la Figura 15 a continuación) indica los datos generales de seguimiento ocular que se obtuvieron durante la calibración principal. Por lo tanto, este valor permanecerá consistente a lo largo de todo el conjunto de datos. Para la columna de error por ensayo, mostrará algunos valores continuos que variarán a través de los ensayos. Idealmente, una disminución en esta columna a lo largo de los ensayos indica una disminución en la variación del error de la medición, lo cual es una buena indicación de la confianza general en la medición obtenida.
Figura 15. Visualización incompleta de la vista de datos normales con algunas de las columnas que indican variables críticas: número de ensayo, error de calibración, imagen seleccionada y error de ensayo.
Datos de Series Temporales
Esta es una representación más larga del conjunto de datos que retrata múltiples mediciones dentro de cada ensayo procesadas por la cámara web (así como el seguimiento del ratón según sea necesario). Por lo tanto, este conjunto de datos indicará múltiples filas para el mismo ensayo y las últimas cuatro columnas (ver Figura 16 a continuación) indican el array de datos [X, Y, T, C] que mencionamos en la parte anterior de la configuración de variables de Eventos. Estas cuatro columnas indican lo siguiente:
- X = Posición X de la mirada en la unidad de coordenadas de marco
- Y = Posición Y de la mirada en la unidad de coordenadas de marco
- T = marca de tiempo precisa (hora UNIX) cuando ocurrió la mirada
- C = confianza para los respectivos datos de mirada
Figura 16. Visualización incompleta de la vista de datos de series temporales con las últimas cuatro columnas: coordenada x, coordenada y, tiempo UNIX y puntajes de confianza.
Para las coordenadas X e Y, estos datos de medición de mirada en bruto podrían evaluarse con los marcos principales del estudio para extrapolar dónde estaba mirando el participante durante este evento. En el lienzo principal, la configuración estándar de marco es de 800x450 unidades de coordenadas de marco (ver figura 17 a continuación). Por lo tanto, al hacer clic en el objeto, el experimentador puede extrapolar su posición relativa X e Y en la pantalla para inferir si la mirada del participante se centró en el estímulo, lo que permite el cálculo del área de interés (AOI).
Para los últimos datos de confianza, esto informa cuán bien se detectó el ojo utilizando la cámara web, considerando la detección de iris/púpilas y la detección de parpadeos. Los valores variarán dentro del intervalo de 0 a 1, donde los puntajes que se acercan a 1 indican la robustez de la buena medición. Los valores que son más bajos y se acercan a 0 se consideran datos menos confiables, ya que esto podría indicar un desenfoque retinal durante un movimiento de cabeza particular o la detección de parpadeos durante esta medición.
Figura 17. Visualización de la página del lienzo. El primer cuadro rojo en la parte inferior muestra mediciones estándar de marco de 800 x 450 coordenadas de marco. El segundo cuadro rojo a la derecha muestra la posición de coordenadas x & y de la primera imagen del gato que podría servir como el área de interés (AOI) para el análisis.
Como nota final, la tasa de muestreo de Labvanced no puede superar los 30 fotogramas por segundo. Esperamos mejorar esto en el futuro, pero es importante señalar que la mayoría de las cámaras web tienen actualmente un umbral de 30 fotogramas por segundo. Por último, en nuestro repositorio de Github, actualmente tenemos múltiples scripts que podrían ser útiles para WebSocket y análisis de datos. Esperamos proporcionar más scripts en el futuro, y actualmente estamos trabajando en un nuevo algoritmo para calcular la detección de fijaciones que podría ser muy útil para estudios experimentales basados en la ocular.