Guide d'Utilisation du Suivi Oculaire

Bienvenue dans le premier guide d'utilisation de Labvanced présentant le guide de configuration du suivi oculaire pour votre prochain projet. Globalement, ce contenu d'information sera divisé en quatre parties, en commençant par la vérification des paramètres système avant de créer une étude et finalement l'explication de la vue des données. Au-delà de ce document étape par étape, le contenu vidéo tutoriel est également disponible dans le tutoriel vidéo Labvanced, ainsi que tous les autres guides pour vous aider dans la création de votre expérience en ligne. Sans plus tarder, plongeons dans la création d'une étude de suivi oculaire.

Partie I: Paramètre Système

Tout d'abord, il est essentiel de sélectionner Labvanced V2 pour la mesure du suivi oculaire (figure 1 ci-dessous) en utilisant notre algorithme d'apprentissage profond. Par la suite, il y a trois options pour choisir la durée de la calibration. L'option par défaut standard est de 5 minutes, mais l'expérimentateur peut également choisir <1 min, 3 mins ou 8 mins de calibration. La durée plus longue nécessitera plus de calibrations de position de tête avec des points de fixation supplémentaires fournissant la précision de mesure la plus optimale. Cependant, en tenant compte du type d'étude et des participants qui subiront l'expérience, la durée plus courte peut également être optimale pour atténuer le temps et la fatigue des participants, surtout si vous avez des nourrissons dans votre étude.

Figure 1. Écran initial sous la page Paramètre de l'Étude. L'expérimentateur doit sélectionner l'option Activer le Suivi Oculaire pour ajuster les sélections suivantes dans la zone rouge affichée pour utiliser le suivi oculaire.

En parlant des nourrissons, il existe des options supplémentaires pour optimiser les lectures de regard des jeunes participants en sélectionnant des options d'image animale pour les Types d'images de Calibration. L'affichage de calibration des animaux pourrait être associé à la sélection Mode adapté aux nourrissons (voir figure 1). Sélectionner cette option ajustera automatiquement la calibration plus courte et le son accompagnant (peut également être désactivé) pour aider l'attention du nourrisson et diminuer l'ennui. Dans la même section, l'option Afficher la Grille pourrait aider le participant à anticiper le prochain point de la calibration pour aider au processus de calibration optimale.

Juste en dessous de l'option Afficher la Grille, il y a également une option pour vérifier Afficher les Flux Vidéos de Test Initiaux (voir Figure 1). Les participants se verraient dans le flux vidéo avec le superposition de maille faciale avant la principale calibration en sélectionnant cela. L'importance de la maille faciale est expliquée plus tard dans cette démonstration, mais avoir la vidéo de test est fortement recommandé pour voir si l'ordinateur du participant peut gérer la mesure du suivi oculaire via webcam. En tant que recommandation, il est idéal d'utiliser un ordinateur avec un GPU séparé pour un suivi oculaire optimal. Si le matériel n'est pas optimal du côté du participant, la vidéo de test initial restera statique et ne progressera pas, servant de vérification initiale pour voir si le participant doit continuer l'étude. Dans ce cas de matériel informatique moins optimal, ils peuvent interrompre l'étude et aider l'expérimentateur avec moins de bruit de données dans les données globales.

De plus, l'expérimentateur peut également sélectionner l'option Alignement de la Position de Tête dans le même affichage des paramètres, qui sert de repose-menton virtuel. Cette mesure ajoutée vise à imiter la fonction du repose-menton physique utilisé dans le cadre de laboratoire, où le menton est positionné sur le support de tête pour maintenir l'immobilité de la tête. En cochant l'option d'alignement de la position de tête, Labvanced mesurera diverses orientations de tête pendant la phase de calibration. Plus d'informations seront disponibles dans le paragraphe suivant sur ce processus spécifique. Prendre en compte la position de la tête dans la mesure oculaire améliorera la qualité des données en atténuant le bruit confondu par le désalignement de la tête. Si les participants déplacent de manière significative leur tête hors de la pose centrale, le programme interrompt l'étude et invite le participant à se réaligner et à se recentrer sur le repose-menton virtuel, aidant à la concentration du participant et à maintenir une position de tête similaire tout au long de l'étude. Plus important encore, contrôler la position de la tête aidera également à améliorer la qualité globale de vos données. Bien qu'il soit fortement recommandé d'activer cette option, il existe également une option pour l'ignorer pendant le déroulement expérimental. En fonction des participants à l'étude, le maintien continu de la position de la tête pourrait être difficile, en particulier avec les nourrissons, donc cette option permettrait aux participants (ou aux parents) de désactiver et de sauter ce processus tout au long du déroulement expérimental.

Enfin, il existe également une option pour Partager les données de calibration avec Labvanced. Principalement, cela vise à améliorer l'algorithme du suivi oculaire Labvanced pour une meilleure interface utilisateur, mais cela est entièrement optionnel selon la discrétion du chercheur. Dans la prochaine étape, nous plongerons dans la page de canevas pour passer par quelques préparations supplémentaires avant la création de l'expérience et l'enregistrement des données.

Partie II: Éditeur de Tâches

Au-delà de la préparation de l'étude de suivi oculaire avec la page Paramètres de l'Étude, il y a d'autres préparations préliminaires à noter sur la page canevas et des informations essentielles pour créer de nouvelles variables pour stocker les données de regard.

Signaux Physiques

En cliquant sur le bouton Signaux Physiques en haut à gauche de l'écran du canevas, un dialogue s'ouvrira avec différentes options de suivi oculaire (voir Figure 2). Tout d'abord, vous voudrez activer le suivi oculaire lors de l'édition de tâche pour permettre la mesure de regard pendant votre étude. Bien sûr, cela peut être désactivé si vous n'examinez que la mesure comportementale (par exemple, le temps de réaction et la précision).

Figure 2. Écran du canevas dans une tâche. La zone rouge indique l'option Signaux Physiques pour activer le suivi oculaire dans cette tâche et déterminer le nombre de points de fixation pour la validation inter-essai.

Il est important de noter que la calibration principale aura toujours lieu avant la première tâche de suivi oculaire. Par exemple, si vous avez quatre tâches dans une séquence de blocs pour la mesure du suivi oculaire, Labvanced demandera la calibration avant la première des quatre tâches. Cela permettra à l'expérimentateur de planifier en conséquence quand la calibration aura lieu dans la construction de l'étude.

L'autre option dans le même affichage est le Nombre de Fixations à afficher pendant la phase de validation entre chaque essai (voir Figure 3). En réglant la valeur à zéro, cela sautera le processus de validation. Cependant, en augmentant le nombre de fixations, davantage de points de fixation seront présentés pour valider la mesure du suivi oculaire pendant les périodes inter-essai. Cela est important pour l'algorithme de suivi oculaire afin d'atténuer les erreurs systématiques et calculer la correction de dérive. Par exemple, si certains participants sont plus orientés soit à gauche soit à droite, le processus de validation compensera cette dérive pour améliorer les erreurs. L'autre option utile est d'appliquer directement le décalage en cliquant sur la correction de dérive par Utilisateur par essai. La dernière option à noter est le Nombre de fixations à utiliser pour la correction de dérive pour le nombre de points que vous souhaitez calculer pour la correction de dérive. Pendant la correction, les essais précédents sont pris en compte dans le calcul afin de tenir compte de l'erreur du participant par rapport à la calibration principale.

Figure 3. Affichage des Signaux Physiques. La zone rouge indique les options affichées dans les Signaux Physiques avec une valeur de fixations standard de 3 et une valeur de correction de dérive de 6.

Paramètres d'affichage

Une autre chose essentielle à noter pour l'édition de tâche est les options de paramètres d'affichage. Pour la tâche générale Labvanced, le paramètre d'affichage est réglé sur le mode Zoom/Adaptatif (voir Figure 4 ci-dessous) qui redimensionnera le cadre d'affichage pour qu'il s'adapte à chaque écran pour l'affichage du participant. Mais pour le suivi oculaire, vous pouvez envisager l'option fixe soit en Degré Visuel soit en Millimètre. Cela peut être très utile, car cela permettra de suivre le mouvement des yeux du participant en degrés visuels plutôt que de se fier aux unités de cadre d'écran qui nécessiteront également des calculs supplémentaires pour quantifier la distance spatiale. Le même avantage pourrait également être appliqué à la mesure en millimètres. De manière critique, changer l'option de paramètre d'affichage modifiera l'affichage des paramètres d'étude, ce à quoi nous allons revenir.

Figure 4. Affichage des Paramètres d'Affichage réglés par défaut en mode Zoom/Adaptatif

Retour aux Paramètres de l'Étude, le changement de Paramètres d'Affichage permettra des options supplémentaires de Taille d'écran & Résolution pour définir la taille minimale de l'écran soit en degrés visuels soit en millimètres (voir Figure 5 ci-dessous). Cependant, l'option Afficher la Calibration de l'Écran sera toujours sélectionnée (affichée en gris), et cela fournit un modèle à l'écran qui invite le participant à tenir un objet de taille de carte de crédit à l'écran et d'ajuster le modèle pour s'adapter à la taille physique de la carte. Une telle calibration par mesure physique permettra à l'algorithme Labvanced de déduire la taille de l'affichage pour accommoder les variations de réglage des moniteurs.

Figure 5. Affichage de la page des Paramètres de l'Étude. La zone rouge indique les options pour définir la taille minimale de l'écran en degrés visuels, millimètres ou pixels. Notez que l'option Afficher la Calibration de l'Écran est toujours sélectionnée en gris.

Événements & Configuration de variables pour les données de suivi oculaire

Pour enregistrer les données de suivi oculaire, cela peut être fait en créant un nouvel événement. Si un expérimentateur souhaite mesurer le suivi oculaire par une image particulière, cela peut être configuré par le déclencheur Suivi Oculaire sous Signaux Physiologiques (voir Figure 6 ci-dessous). Cela signifie que chaque fois que la webcam traite une image ou une cible, cela déclenchera la séquence de l'événement pour une action particulière. Par exemple, si vous souhaitez que l'élément spécifique (par exemple, croix de fixation) soit le déclencheur. Dans ce cas, il y a une option de vérification : Déclencher uniquement en regardant des éléments spécifiques, et régler la cible sur un élément particulier (par exemple, croix de fixation ou image). En ne cochant pas cette option, le suivi oculaire enregistrera tout ce qui est suivi par l'action d'enregistrement.

Figure 6. Affichage de la configuration de l'Événement pour enregistrer le suivi oculaire. La case à cocher sous le Type de Déclencheur indique l'option de déclencheur lors de la visualisation des éléments spécifiques, tels que croix de fixation ou image.

Pour définir la variable d'enregistrement, utilisez l'action typique Définir/Enregistrer variable, et sur le côté droit, suivez le Déclencheur Utilisé (Suivi Oculaire) pour passer à l'option de données. Idéalement, il est recommandé de sélectionner le tableau [X, Y, T, C] (voir Figure 7), car cela fournira toutes les mesures cruciales du regard :

• X = Coordonnée du cadre X
• Y = Coordonnée du cadre Y
• T = Horodatage UNIX
• C = Confiance de la détection des yeux pour détection de clignement ou erreur

Figure 7. Affichage de la configuration de l'Événement pour enregistrer les mesures du suivi oculaire.

Sur le côté gauche de l'action Définir/Enregistrer variable, une variable (idéalement une nouvelle variable) stockera les données de suivi oculaire. Lors de la création d'une nouvelle variable, il est essentiel de définir le Format de variable sur Tableau de Données - car le [X, Y, T, C] est un tableau de données, et de définir le Type de Données sur Numérique (voir Figure 8 ci-dessous). Enfin, il est important de changer le Type d'Enregistrement sur Tous les changements/Série Temporelle. Nous discuterons plus d'informations sur la série temporelle dans une section ultérieure, mais en général, cette option permet d'enregistrer plusieurs valeurs par essai, plutôt que seulement la valeur finale à la fin de l'essai. Ce serait idéal pour examiner plusieurs regards, temps et scores de confiance dans l'enregistrement au sein d'un essai afin que la série temporelle fournisse plus de nuances à la mesure globale du suivi oculaire.

Figure 8. Affichage de la configuration d'une Nouvelle Variable pour stocker les mesures du suivi oculaire. La première zone rouge en haut indique le Format réglé sur Tableau et le Type de Données sur Numérique. Au-delà de ces deux paramètres importants, la seconde zone rouge ci-dessous présente également l'option critique de Série Temporelle qui serait requise pour voir les multiples mesures de regard dans un essai.

Partie III: Création de l'Étude

Disons qu'un chercheur veut créer une tâche de discrimination d'objets (Figure 9A) utilisant un clic de souris avec un nombre n d'essais en utilisant la mesure de suivi oculaire. Cela pourrait être configuré à l'aide du déclencheur de souris et de l'action Définir/Enregistrer (voir Figures 9A et 9B). L'action de saut pourrait suivre cela pour passer à l'essai suivant.

Figure 9. Affichage du canevas avec la configuration de discrimination d'objets avec deux affichages d'images (A) avec des configurations d'événements utilisant le déclencheur de souris (B) et la configuration de l'action (C) pour enregistrer l'image sélectionnée avec une action de saut subséquente.

Au-delà de l'enregistrement du clic de souris, la configuration de suivi oculaire nécessite deux enregistrements de variables supplémentaires qui sont cruciaux pour la mesure du regard. Celles-ci sont, Erreur de calibration et Erreur d'essai qui doivent être déclenchées par le Début de Cadre et procéder à l'action Définir/Enregistrer pour stocker de nouvelles variables (voir Figure 10 ci-dessous). L'Erreur de calibration fournit une valeur numérique unique qui indique la précision de la calibration principale, et l'Erreur d'essai concerne la précision pendant chaque essai individuel. Les discussions ultérieures dans la section des vues de données fourniront plus d'informations sur ces deux lectures.

Figure 10. Affichage de la création d'événements pour Erreur de calibration & Erreur d'essai.

Il est important de noter que le fond devrait être le même pendant la tâche de calibration principale lors d'une étude de suivi oculaire. Par exemple, dans la figure ci-dessous, l'affichage montre un fond blanc avec deux stimuli d'images. Ce fond devrait être le même dans la page Paramètres de l'Étude (voir Figure 11) sous Couleur de fond générale, qui est le même fond que Labvanced utilisera pour la calibration principale. Si les couleurs diffèrent entre la calibration principale et la phase d'étude, cela pourrait entraîner des erreurs possibles dans les données, conduisant à un confondement expérimental.

Figure 11. Affichage de la page des paramètres d'étude. La zone rouge indique la couleur de fond qui doit être la même que celle de la page canevas pendant la création de la principale étude.

Lors de la phase d'enregistrement de l'étude, il y aura une brève vérification vidéo initiale (voir Figure 12). Comme mentionné précédemment, c'est ici que les participants verront son/sienne dans le superposition de maille faciale en bleu avant l'initiation de l'étude. C'est aussi quand le participant évaluera si la vidéo fonctionne sans erreur ; sinon, cela indiquerait le matériel inadéquat pour traiter rapidement la vidéo. Si tel est le cas, le chercheur instruira les participants d'abandonner l'étude, économisant ainsi du temps inutile de leur part et diminuant l'attrition avec les données globales.

Figure 12. Affichage de la vérification préliminaire du traitement vidéo/webcam avec superposition de maille bleue

Si le participant passe en avant après la phase de vérification vidéo, l'instruction de calibration s'affichera avec une instruction d'écran par défaut. L'expérimentateur pourrait changer l'instruction ; sinon, le conseil général invitera le participant à :

• Être dans une pièce calme
• Avoir suffisamment de temps
• Ne pas porter de lunettes - les propriétés réfléchissantes de certaines lentilles pourraient affecter la lecture
• Maintenir la position centrale de l'écran

Après cela, le participant est tenu de positionner sa tête dans diverses orientations, en faisant correspondre la maille de superposition bleue au 'masque' vert servant de repose-menton virtuel (voir Figure 13). Cela permettra à l'algorithme de s'entraîner individuellement pour chaque participant avec des orientations de tête différentes pour prédire la position des yeux pendant les mouvements subtils de la tête durant la phase d'étude. Comme mentionné précédemment concernant l'importance de la fonction du repose-menton virtuel, les différentes orientations de tête que le participant doit suivre serviront les mêmes fonctions que le repose-menton physique pour atténuer le désalignement de la tête. Supposons qu'il y ait un désalignement significatif entre la maille bleue et le masque vert. Dans ce cas, le programme interrompra pour instruire les participants à réaligner leur position de tête après l'essai respectif. Cette interruption se produira pendant la phase de calibration principale et tout au long de l'étude ; un tel désalignement de tête significatif est détecté par le suivi de la webcam. En guise de rappel rapide, la durée de la calibration principale variera de <1 min à 8 mins, car ce dernier nécessitera plus d'orientations de position de tête avec une calibration de fixation supplémentaire pour fournir la mesure la plus précise. Enfin, tout au long des essais d'étude, la session de validation avec des nombres variables de points de fixation sera présente pour minimiser la variation d'erreur et modérer les lectures précises pour les scores de confiance.

Figure 13. Affichage du processus de calibration de la tête avec le masque "repose-menton virtuel" vert. La première image (A) affiche la détermination de la pose centrale initiale. La seconde image (B) montre un désalignement de localisation de tête et le dialogue du programme pour repositionner la tête sur le repose-menton virtuel vert.

Partie IV: Vue des Données

Après le(s) passage(s) du participant, les données de suivi oculaire enregistrées peuvent être visualisées en cliquant sur la page Vue de Données & Exportation (voir Figure 14). Pour Labvanced, la plateforme fournit deux types de jeux de données que l'expérimentateur peut télécharger : Données Normales et Données en Série Temporelle.

Figure 14. Affichage de Vue des Données où les données standard et les données en série temporelle peuvent être téléchargées dans la zone rouge.

Données Normales

Il s'agit d'une structure conventionnelle du jeu de données qui affichera chaque variable dans des colonnes, et chaque ligne représentera chaque essai. Le jeu de données inclura toujours un identifiant unique de participant pour chaque répondant et identification de si cela était requis dans l'étude. Une chose à noter dans ce jeu de données est que l'Erreur de calibration (Calib error dans la Figure 15 ci-dessous) indique les données de suivi oculaire générales qui ont été obtenues lors de la calibration principale. Par conséquent, cette valeur restera constante tout au long de l'ensemble de données. Pour la colonne d'erreur d'essai, elle affichera certaines valeurs continues qui varieront tout au long des essais. Idéalement, une diminution dans cette colonne tout au long des essais indique une diminution de la variance des erreurs de la mesure, ce qui est bon signe de la confiance globale dans la mesure obtenue.

Figure 15. Affichage incomplet de la vue normale avec certaines colonnes indiquant des variables critiques : numéro d'essai, erreur de calibration, image choisie et erreur d'essai.

Données en Série Temporelle

Il s'agit d'une représentation plus longue du jeu de données qui dépeint plusieurs mesures au sein de chaque essai traitées par la webcam (ainsi que le suivi de souris si nécessaire). Par conséquent, ce jeu de données indiquera plusieurs lignes pour le même essai et les quatre dernières colonnes (voir Figure 16 ci-dessous) indiquent le [X, Y, T, C] tableau de données que nous avons mentionné dans la partie précédente sur la configuration des variables d'Événements. Ces quatre colonnes indiquent ce qui suit :

• X = Position X du regard dans l'unité de coordonnées de cadre
• Y = Position Y du regard dans l'unité de coordonnées de cadre
• T = horodatage précis (temps UNIX) lorsque le regard s'est produit
• C = confiance pour les données de regard respectives

Figure 16. Affichage incomplet de la vue de données en série temporelle avec les quatre dernières colonnes : coordonnée x, coordonnée y, temps UNIX et scores de confiance.

Pour les coordonnées X et Y, ces données de mesure brutes de regard pourraient être évaluées avec les cadres principaux de l'étude pour extrapoler où le participant regardait pendant cet événement. Dans le canevas principal, la configuration de cadre standard est de 800x450 unités de coordonnées de cadre (voir figure 17 ci-dessous). Par conséquent, en cliquant sur l'objet, l'expérimentateur peut extrapoler sa position relative X et Y à l'écran pour déduire si le regard du participant s'est posé sur le stimulus - permettant le calcul de l'aire d'intérêt (AOI).

Pour les dernières données de confiance, cela informe de la qualité de la détection des yeux utilisant la webcam, considérant la détection de l'iris/pupille et la détection de clignement. Les valeurs varieront dans l'intervalle de 0 à 1, où des scores approchant 1 indiquent la robustesse de la mesure. La valeur qui est plus basse et approchant 0 est considérée comme moins confiante ou moins fiable, car cela pourrait indiquer un flou rétinien pendant un mouvement de tête particulier ou une détection de clignement durant cette mesure.

Figure 17. Affichage de la page canevas. La première zone rouge en dessous affiche les mesures de cadre standards de 800 x 450 coordonnées de cadre. La seconde zone rouge à droite affiche la position de coordonnées x & y de la première image de chat qui pourrait servir d'aire d'intérêt (AOI) pour l'analyse.

En dernière note, le taux d'échantillonnage Labvanced ne peut pas dépasser 30 images par seconde. Nous visons à améliorer cela à l'avenir, mais il est important de noter que la plupart des webcams ont actuellement un seuil de 30 images par seconde. Enfin, sur notre répertoire Github, nous avons actuellement plusieurs scripts qui pourraient être utiles pour l'analyse des WebSockets et des données. Nous espérons fournir plus de scripts à l'avenir, et nous travaillons actuellement sur un nouvel algorithme pour calculer la détection de fixation qui pourrait être très utile pour les études expérimentales basées sur l'oculaire.