Guía de Seguimiento Ocular

Bienvenido a la primera guía de Labvanced que presenta el manual de configuración de seguimiento ocular para tu próximo proyecto. En general, este contenido de información se dividirá en cuatro partes, comenzando con la verificación de la configuración general del sistema antes de crear un estudio y, finalmente, la explicación de la vista de datos. Más allá de este documento paso a paso, el contenido del video tutorial también está disponible en el tutorial en video de Labvanced, junto con todas las demás guías para ayudarte en la creación de tu experimento en línea. Sin más preámbulo, sumérgete en la creación del estudio de seguimiento ocular.

Parte I: Configuración del Sistema

Primero, es esencial seleccionar Labvanced V2 para la medición de seguimiento ocular (Figura 1 a continuación) utilizando nuestro algoritmo de aprendizaje profundo. Luego, hay tres opciones para elegir la duración de la calibración. La opción predeterminada estándar es de 5 minutos, pero el experimentador también puede elegir calibraciones de <1 min, 3 mins o 8 mins. La duración más larga requerirá más calibración de la posición de la cabeza con más puntos de fijación que proporcionan la precisión de medición más óptima. Sin embargo, considerando el tipo de estudio y los participantes que se someterán al experimento, la duración más corta podría ser óptima para mitigar el tiempo y la fatiga de los participantes, especialmente si tienes bebés en tu estudio.

Figura 1. Pantalla inicial en la página de Configuración del Estudio. El experimentador debe seleccionar la opción Activar Seguimiento Ocular para ajustar las siguientes selecciones dentro del cuadro rojo mostrado.

Hablando de bebés, hay opciones adicionales para optimizar las lecturas de la mirada de los jóvenes participantes seleccionando opciones de imagen de animales para los Tipos de imagen de Calibración. La visualización de calibración de animales podría emparejarse con la selección de Modo amigable para bebés (ver Figura 1). Seleccionar esta opción ajustará automáticamente la calibración más corta y el sonido acompañante (que también puede estar apagado) para ayudar a la atención del bebé y disminuir el aburrimiento. En la misma sección, la opción Mostrar Cuadrícula podría ayudar al participante a anticipar el siguiente punto de la calibración para ayudar con el proceso de calibración óptimo.

Justo debajo de la opción Mostrar Cuadrícula, también hay una opción para verificar Mostrar Flujos de Video de Prueba Inicial (ver Figura 1). Los participantes se verían a sí mismos en la transmisión de video con la superposición de la malla facial antes de la calibración principal al seleccionar esto. La importancia de la malla facial se explica más adelante en esta guía, pero se recomienda encarecidamente tener el video de prueba para ver si la computadora del participante puede manejar la medición de seguimiento ocular de la cámara web. Como recomendación, es ideal utilizar una computadora con una GPU separada para un seguimiento ocular óptimo. Si el hardware no es óptimo en el extremo del participante, el video de prueba inicial permanecerá estático y no avanzará, sirviendo como una verificación inicial de si el participante debería continuar con el estudio. En este caso de hardware de computadora menos óptimo, pueden abortar el estudio y ayudar al experimentador con menos ruido de datos en los datos completos.

Además, el experimentador también podría seleccionar la opción Alineación de Pose de Cabeza en la misma pantalla de configuración, que sirve como el reposacabezas virtual. Esta medida adicional tiene como objetivo imitar la función del reposacabezas físico utilizado en el entorno de laboratorio, donde la barbilla se posiciona en el soporte de cabeza para mantener la cabeza quieta. Al verificar la opción de alineación de posición de cabeza, Labvanced medirá varias orientaciones de cabeza durante la etapa de calibración. Más información estará disponible en el párrafo posterior de su proceso específico. Tener la posición de la cabeza en cuenta para la medición ocular mejorará la calidad de los datos al mitigar el ruido confuso por la desalineación de la cabeza. Si los participantes mueven significativamente su cabeza fuera de la pose central, el programa interrumpirá el estudio y solicitará al participante que realinee y se enfoque en el reposacabezas virtual, ayudando al enfoque del participante y manteniendo una posición de cabeza similar durante el estudio. Más importante aún, controlar la posición de la cabeza también asistirá con la calidad general de tus datos. Aunque se recomienda encarecidamente habilitar esta opción, también hay una opción para ignorar durante la ejecución experimental. Dependiendo de los participantes del estudio, mantener continuamente la posición de la cabeza podría ser difícil, especialmente con los bebés, por lo que esta opción permitiría a los participantes (o padres) desactivar y omitir este proceso durante la ejecución experimental.

Por último, pero no menos importante, también hay una opción para Compartir datos de calibración con Labvanced. Principalmente, esto es para mejorar el algoritmo de seguimiento ocular de Labvanced para una mejor interfaz de usuario, pero esto es completamente opcional según la discreción del investigador. En la siguiente parte, nos sumergiremos en la página de lienzo para proceder con algunas preparaciones más antes de la creación del experimento y la grabación de datos.

Parte II: Editor de Tareas

Más allá de prepararse para el estudio de seguimiento ocular con la página de Configuración del Estudio, hay preparaciones preliminares adicionales a tener en cuenta en la página de lienzo y la información esencial para crear nuevas variables para almacenar los datos de la mirada.

Señales Físicas

Al hacer clic en el botón Señales Físicas en la parte superior izquierda de la pantalla del lienzo, se abrirá el diálogo con diferentes opciones de seguimiento ocular (ver Figura 2). Primero, desearías habilitar el seguimiento ocular en la edición de tareas para permitir que ocurra la medición de la mirada durante tu estudio. Por supuesto, esto podría estar deshabilitado si solo investigas la medida de comportamiento (por ejemplo, tiempo de reacción y precisión).

Figura 2. Pantalla del lienzo dentro de una tarea. El cuadro rojo indica la opción de Señales Físicas para habilitar el seguimiento ocular en esta tarea y determinar el número de puntos de fijación para la validación intertrial.

Es importante que la calibración principal siempre ocurra antes de la primera tarea de seguimiento ocular. Por ejemplo, si tienes cuatro tareas en una secuencia de bloques para la medición de seguimiento ocular, Labvanced solicitará la calibración antes de la 1ª de las cuatro tareas. Esto permitiría al experimentador planificar en consecuencia cuándo ocurre la calibración dentro de la construcción del estudio.

La otra opción en la misma pantalla de opciones es el Número de Fijaciones que se mostrarán durante la etapa de validación entre cada prueba (ver Figura 3). Al establecer el valor en cero, se omitiría el proceso de validación. Sin embargo, aumentar el número de fijaciones presentaría más puntos de fijación para validar la medición del seguimiento ocular durante los períodos intertrial. Esto es importante para el algoritmo de seguimiento ocular para mitigar errores sistemáticos y para calcular la corrección de deriva. Por ejemplo, si algunos participantes se orientan más hacia la izquierda o la derecha, el proceso de validación contrarrestará esta deriva para mejorar el error. La otra opción útil es aplicar directamente el desplazamiento haciendo clic en la corrección de deriva por usuario por prueba. La última opción a tener en cuenta es el Número de fijaciones a utilizar para la corrección de deriva, para el número de puntos que deseas calcular para la corrección de deriva. Durante la corrección, se tienen en cuenta los ensayos anteriores en el cálculo para considerar el error del participante a partir de la calibración principal.

Figura 3. Visualización de Señales Físicas. El cuadro rojo indica las opciones mostradas dentro de las Señales Físicas con un valor de fijaciones estándar de 3 y un valor de corrección de deriva de 6.

Configuración de visualización

Otra cosa vital a tener en cuenta para la edición de tareas son las opciones de configuración de visualización. Para la tarea general de Labvanced, la configuración de visualización se establece en el modo Zoom/Adaptativo (ver Figura 4 a continuación) que escalará el marco de visualización de manera que se ajuste a cada pantalla de la visualización del participante. Pero para el seguimiento ocular, puedes considerar la opción fija en Grados Visuales o Milímetros. Esto puede ser bastante útil, ya que permitirá rastrear el movimiento ocular del participante en grados visuales en lugar de depender de unidades del marco de pantalla que también requerirán cálculos adicionales para cuantificar la distancia espacial. El mismo beneficio también podría aplicarse a la medida en milímetros. De manera crítica, cambiar la opción de configuración de visualización cambiará la visualización de la configuración del estudio, a la que rastrearemos de vuelta.

Figura 4. Visualización de Configuración de Visualización establecida en el modo por defecto Zoom/Adaptativo

Regresando a la Configuración del Estudio, el cambio en la Configuración de Visualización permitirá opciones adicionales de Tamaño y Resolución de Pantalla para definir el tamaño mínimo de pantalla en grados visuales o milímetros (ver Figura 5 a continuación). Sin embargo, la opción Mostrar Calibración de Pantalla siempre estará seleccionada (mostrada en color gris), y esto proporciona una plantilla en pantalla que le pedirá al participante que sostenga un artículo del tamaño de una tarjeta de crédito frente a la pantalla y ajuste la plantilla para que se ajuste al tamaño físico de la tarjeta. Tal calibración de medida física permite que el algoritmo de Labvanced infiera el tamaño de visualización para acomodar diferentes variaciones de pantalla de monitor.

Figura 5. Visualización de la página de Configuración del Estudio. El cuadro rojo indica las opciones para establecer el tamaño mínimo de pantalla en grados visuales, milímetros o píxeles. Nota que la opción Mostrar Calibración de Pantalla siempre está seleccionada en gris.

Configuración de Eventos y Variables para Datos de Seguimiento Ocular

Para grabar los datos de seguimiento ocular, esto se puede hacer creando un nuevo evento. Si un experimentador desea medir el seguimiento ocular a través de una imagen en particular, esto se puede configurar mediante el desencadenador Seguimiento Ocular bajo Señales Fisiológicas (ver Figura 6 a continuación). Esto significa que cada vez que la cámara web procese una imagen o un objetivo; esto desencadenará la secuencia del evento a una acción particular. Por ejemplo, si deseas que el elemento específico (por ejemplo, la cruz de fijación) sea el desencadenador. En ese caso, hay una opción de verificación: Solo desencadenar cuando se mire a elementos específicos, y establecer el objetivo a un elemento particular (por ejemplo, cruz de fijación o imagen). Al no marcar esta opción, el seguimiento ocular registrará todo lo que siga a la acción de grabación.

Figura 6. Visualización de configuración de Eventos para grabar el seguimiento ocular. La casilla de verificación bajo el Tipo de Desencadenador indica la opción de desencadenador al mirar elementos específicos, tales como la cruz de fijación o imagen.

Para establecer la variable de grabación, utiliza la acción típica Establecer/Grabar variable, y en el lado derecho, sigue la opción Usar Desencadenador (Seguimiento Ocular) para proceder a la opción de datos. Idealmente, se recomienda seleccionar el array [X, Y, T, C] (ver Figura 7), ya que esto proporcionará todas las mediciones cruciales de la mirada:

• X = Coordenada de marco X
• Y = Coordenada de marco Y
• T = Marca de tiempo UNIX
• C = Confianza en la detección ocular para parpadeo/error

Figura 7. Visualización de configuración de Nuevas Variables para almacenar las mediciones de seguimiento ocular.

En el lado izquierdo de la acción Establecer/Grabar variable, una variable (idealmente una nueva variable) almacenará los datos de seguimiento ocular. Al crear una nueva variable, es crucial establecer el Formato de la variable en Array de marco de datos - ya que [X, Y, T, C] es un dato de array, y establecer el Tipo de datos en Numérico (ver Figura 8 a continuación). Por último, es importante cambiar el Tipo de Registro a Todos los cambios/Series temporales. Discutiremos más información sobre las series temporales en una sección posterior, pero en general, esta opción permite grabar múltiples valores por prueba, en lugar de solo el valor final al final de la prueba. Sería ideal examinar múltiples miradas, tiempos y puntajes de confianza en la grabación dentro de una prueba para que la serie temporal proporcione más matices a la medición total del seguimiento ocular.

Figura 8. Visualización de configuración de Nueva Variable para almacenar las mediciones de seguimiento ocular. El cuadro rojo superior indica el Formato establecido en Array y el Tipo de Datos en Numérico. Más allá de estas dos configuraciones importantes, el segundo cuadro rojo a continuación también muestra la crítica opción de Series temporales que sería requerida para ver las múltiples mediciones de la mirada en una prueba.

Parte III: Creación del Estudio

Supongamos que un investigador quiere crear una tarea de discriminación de objetos (Figura 9A) utilizando un clic del mouse con n número de ensayos usando la medición de seguimiento ocular. Esto podría configurarse utilizando el desencadenador del mouse y la acción Establecer/Grabar (ver Figura 9A y 9B). La acción de salto podría seguir esto para pasar al siguiente ensayo.

Figura 9. Visualización del lienzo con configuración de discriminación de objetos con dos visualizaciones de imágenes (A) con configuración de eventos utilizando el desencadenador del mouse (B) y la acción configurada (C) para grabar la imagen seleccionada con la subsiguiente acción de salto.

Más allá de grabar el clic del mouse, la configuración de seguimiento ocular requiere otras dos grabaciones de variable que son cruciales para la medición de la mirada. Estas son, Error de calibración y Error de prueba que deben ser desencadenados por el Inicio del marco y proceder a la acción Establecer/Grabar para almacenar nuevas variables (ver Figura 10 a continuación). El error de calibración proporciona un único valor numérico que proporciona la precisión de la calibración principal, y el Error de prueba se refiere a la precisión durante cada prueba individual. Más adelante, la discusión en la sección de vista de datos proporcionará más información sobre estas dos lecturas.

Figura 10. Visualización de creación de eventos para Error de calibración y Error de prueba.

Es importante tener en cuenta que el fondo debe ser el mismo durante la tarea principal de calibración durante un estudio de seguimiento ocular. Por ejemplo, en la Figura a continuación, la visualización muestra un fondo blanco con dos estímulos pictóricos. Este fondo debe ser el mismo en la página de Configuración del Estudio (ver Figura 11) bajo Color de fondo general, que es el mismo fondo que Labvanced utilizará para la calibración principal. Si los colores son diferentes entre la calibración principal y la fase de estudio, esto podría resultar en posibles errores en los datos, llevando a una confusión experimental.

Figura 11. Visualización de la página de configuración del estudio. El cuadro rojo indica el color de fondo que debería ser el mismo con la página del lienzo durante la creación del estudio principal.

Durante la fase de grabación del estudio, habrá la verificación inicial corta del video (ver Figura 12). Como se mencionó anteriormente, aquí es donde los participantes se verán a sí mismos en la superposición de malla facial en azul antes de la iniciación del estudio. Este también es el momento en que el participante evaluará si el video funciona sin ningún error; de lo contrario, esto indicaría el hardware inadecuado para procesar el video rápidamente. Si este es el caso, el investigador instruye a los participantes a abortar el estudio, ahorrando un tiempo innecesario de su parte y disminuyendo la deserción con los datos completos.

Figura 12. Visualización de verificación preliminar de procesamiento de webcam/video con superposición de malla azul

Si el participante procede después de la fase de verificación del video, las instrucciones de calibración se mostrarán con una instrucción de pantalla predeterminada. El experimentador puede cambiar la instrucción; de lo contrario, el consejo general indicará al participante que:

• Esté en una habitación tranquila
• Tenga suficiente tiempo
• No use gafas - la propiedad reflectante de algunos lentes podría afectar la lectura
• Mantenga la posición central de la pantalla

A continuación, se requiere que el participante posicione su cabeza en varias orientaciones, haciendo coincidir la malla de superposición azul con la ‘máscara’ verde que sirve como el reposacabezas virtual (ver Figura 13). Esto permitirá que el algoritmo entrene individualmente a cada participante con diferentes orientaciones de cabeza para predecir la posición del ojo durante los sutiles movimientos de cabeza durante la fase de estudio. Como se mencionó anteriormente, la importancia de la función del reposacabezas virtual, las diferentes orientaciones de la cabeza que el participante debe seguir cumplirán las mismas funciones que el reposacabezas físico para mitigar la discrepancia de la cabeza. Supongamos que hay una discrepancia significativa entre la malla de superposición azul y la máscara verde. En ese caso, el programa interrumpirá para indicarle a los participantes que realineen su posición de cabeza después del respectivo ensayo. Esta interrupción ocurrirá durante la etapa de calibración principal y a lo largo del estudio; tal desalineación significativa de la cabeza será detectada mediante el seguimiento por webcam. Como recordatorio rápido, la duración de la calibración principal variará de <1 min a 8 mins, ya que esta última requiere más orientación de la posición de la cabeza con calibración de fijación adicional para proporcionar la medición más precisa. Por último, a lo largo de los ensayos del estudio, la sesión de validación con diferentes números de puntos de fijación estará presente para minimizar la variación de error y mediar lecturas precisas para los puntajes de confianza.

Figura 13. Visualización del proceso de calibración de la cabeza con la máscara verde del “reposacabezas virtual”. La primera imagen (A) muestra la determinación inicial de la pose central. La segunda imagen (B) muestra una discrepancia en la ubicación de la cabeza y el diálogo del programa para reposicionar la cabeza a la “reposacabezas virtual” verde.

Parte IV: Vista de Datos

Después de las ejecuciones del participante, los datos grabados de seguimiento ocular se pueden ver haciendo clic en la página de Vista de Datos y Exportación (ver Figura 14). Para Labvanced, la plataforma proporciona dos tipos de conjuntos de datos que el experimentador puede descargar: Datos Normales y Datos de Series Temporales.

Figura 14. Visualización de Vista de Datos donde se pueden descargar los datos estándar y los datos de series temporales en el cuadro rojo.

Datos Normales

Esta es una estructura convencional del conjunto de datos que mostrará cada variable en columnas, y cada fila representará cada prueba. El conjunto de datos siempre incluirá un ID único de participante para cada encuestado e identificación si esto era requerido en el estudio. Una cosa a tener en cuenta en este conjunto de datos es que el Error de Calibración (Error de Calib en la Figura 15 a continuación) indica los datos generales de seguimiento ocular que se obtuvieron durante la calibración principal. Por lo tanto, este valor permanecerá consistente a lo largo de todo el conjunto de datos. En la columna de error de prueba, se mostrarán algunos valores continuos que variarán a lo largo de las pruebas. Idealmente, una disminución de esta columna a lo largo de las pruebas indica una disminución en la varianza de error de la medición, lo cual es una buena indicación de la confianza general de la medición obtenida.

Figura 15. Visualización incompleta de la vista de datos normales con algunas de las columnas que indican variables críticas: número de prueba, error de calibración, imagen elegida y error de prueba.

Datos de Series Temporales

Esta es una representación más larga del conjunto de datos que retrata múltiples mediciones dentro de cada prueba procesadas por la cámara web (así como seguimiento del mouse según sea necesario). Por lo tanto, este conjunto de datos indicará múltiples filas para la misma prueba y las últimas cuatro columnas (ver Figura 16 a continuación) indican los datos del array [X, Y, T, C] que mencionamos en la parte anterior de la configuración de variables de Eventos. Estas cuatro columnas indican lo siguiente:

• X = Posición X de la mirada en la unidad de coordenadas del marco
• Y = Posición Y de la mirada en la unidad de coordenadas del marco
• T = Marca de tiempo precisa (hora UNIX) cuando ocurrió la mirada
• C = confianza en los datos de la mirada respectiva

Figura 16. Visualización incompleta de la vista de datos de series temporales con las últimas cuatro columnas: coordenada x, coordenada y, tiempo UNIX y puntajes de confianza.

Para las coordenadas X e Y, estos datos de medición de mirada en bruto podrían ser evaluados con los fotogramas del estudio principal para extrapolar dónde estaba mirando el participante durante este evento. En el lienzo principal, la configuración estándar del marco es de 800x450 unidades de coordenadas de marco (ver figura 17 a continuación). Por lo tanto, al hacer clic en el objeto, el experimentador puede extrapolar su posición relativa de X e Y en la pantalla para inferir si la mirada del participante se posó sobre el estímulo, permitiendo el cálculo del área de interés (AOI).

Para los últimos datos de confianza, esto indica qué tan bien se detectó el ojo usando la cámara web, considerando la detección de iris/pupila y detección de parpadeo. Los valores variarán dentro del intervalo de 0 a 1, donde los puntajes que se acercan a 1 indican la robustez de la buena medición. El valor que sea más bajo y que se acerque a 0 se considera datos menos confiables, ya que esto podría ser indicativo de desenfoque retinal durante un movimiento de cabeza particular o detección de parpadeo durante esta medición.

Figura 17. Visualización de la página del lienzo. El primer cuadro rojo en la parte inferior muestra las medidas estándar del marco de 800 x 450 coordenadas de marco. El segundo cuadro rojo a la derecha muestra la posición de coordenadas x e y de la primera imagen de un gato que podría servir como el área de interés (AOI) para el análisis.

Como nota final, la tasa de muestreo de Labvanced no puede superar los 30 fotogramas por segundo. Nuestro objetivo es mejorar esto en el futuro, pero es importante señalar que la mayoría de las cámaras web actuales tienen un umbral de 30 fotogramas por segundo. Por último, en nuestro repositorio de Github, actualmente tenemos múltiples scripts que podrían ser útiles para análisis de WebSocket y de datos. Esperamos proporcionar más scripts en el futuro, y actualmente estamos trabajando en un nuevo algoritmo para calcular la detección de fijación que podría ser de gran utilidad para estudios experimentales basados en ocular.