Guide de suivi de l'œil
Bienvenue dans le premier guide de Labvanced présentant le guide de configuration du suivi des yeux pour votre prochain projet. Globalement, ce contenu informatif sera divisé en quatre parties, commençant par la vérification des paramètres du système avant la création d'une étude et enfin l'explication de la vue des données. Au-delà de ce document étape par étape, le contenu vidéo tutoriel est également disponible dans le tutoriel vidéo Labvanced, avec tous les autres guides pour vous aider dans la création de votre expérience en ligne. Sans plus tarder, plongeons dans la création d'une étude de suivi des yeux.
Partie I : Paramètres du système
Tout d'abord, il est essentiel de sélectionner le Labvanced V2 pour la mesure du suivi des yeux (Figure 1 ci-dessous) en utilisant notre algorithme d'apprentissage profond. Ensuite, il y a trois options pour choisir la durée de la calibration. L'option par défaut standard est de 5 minutes, mais l'expérimentateur peut également choisir une calibration de <1 min, 3 mins ou 8 mins. Une durée plus longue nécessitera davantage de calibrations de position de la tête avec des points de fixation accrus offrant la meilleure précision de mesure. Cependant, en tenant compte du type d'étude et des participants qui subiront l'expérience, une durée plus courte pourrait également être optimale pour atténuer le temps et la fatigue des participants, surtout si vous avez des nourrissons dans votre étude.
Figure 1. Écran initial sous la page des paramètres de l'étude. L'expérimentateur doit sélectionner l'option Activer le suivi des yeux pour ajuster les sélections suivantes dans la boîte rouge affichée afin d'utiliser le suivi des yeux.
En parlant des nourrissons, il existe des options supplémentaires pour optimiser les lectures de regard des jeunes participants en sélectionnant des options d'image animale pour les types d'images de calibration. L'affichage de calibration des animaux pourrait s'associer à la sélection Mode adapté aux nourrissons (voir Figure 1). En sélectionnant cette option, la calibration plus courte et le son d'accompagnement (peut également être désactivé) seront automatiquement ajustés pour aider l'attention du nourrisson et diminuer l'ennui. Dans la même section, l'option Afficher la grille pourrait aider le participant à anticiper le prochain point de calibration pour faciliter le processus de calibration optimal.
Juste en dessous de l'option Afficher la grille, il y a aussi une option pour vérifier Afficher les flux vidéo de test initial (voir Figure 1). Les participants se verraient dans le flux vidéo avec le superposition de la maille faciale avant la calibration principale en sélectionnant cela. L’importance de la maille faciale est expliquée plus en détail dans la section ultérieure de ce guide, mais avoir la vidéo de test est fortement recommandé pour vérifier si l'ordinateur du participant pouvait gérer la mesure du suivi des yeux via webcam. En recommandation, il est idéal d'utiliser un ordinateur avec un GPU séparé pour un suivi des yeux optimal. Si le matériel n’est pas optimal du côté du participant, dans ce cas, la vidéo de test initial restera statique et ne progressera pas, servant de vérification initiale si le participant devrait continuer l'étude. Dans ce cas de matériel informatique moins optimal, ils peuvent interrompre l'étude et aider l'expérimentateur avec moins de bruit de données dans les données complètes.
De plus, l'expérimentateur pourrait également sélectionner l'option Alignement de la position de la tête dans le même affichage des paramètres, qui sert de repose-menton virtuel. Cette mesure ajoutée vise à imiter la fonction du repose-menton physique utilisé dans le cadre de laboratoire, où le menton est placé sur le support de tête pour maintenir la tête immobile. En cochant l'option d'alignement de position de la tête, Labvance mesurera diverses orientations de la tête pendant la phase de calibration. Plus d'informations seront disponibles dans le paragraphe ultérieur de son processus spécifique. Inclure la position de la tête dans la mesure oculaire améliorera la qualité des données en atténuant le bruit causé par le désalignement de la tête. Supposons que les participants déplacent significativement leur tête hors de la pose centrale. Dans ce cas, le programme interrompra l'étude et invitera le participant à réaligner et à se concentrer à nouveau sur le repose-menton virtuel, aidant ainsi la concentration du participant et maintenant une position de tête similaire tout au long de l'étude. Plus important encore, contrôler la position de la tête aidera également à améliorer la qualité globale de vos données. Bien que l'activation de cette option soit fortement recommandée, il existe également une option pour ignorer pendant l'exécution de l'expérience. Selon les participants de l'étude, le maintien continu de la position de la tête pourrait s'avérer difficile, notamment pour les nourrissons, donc cette option permettrait aux participants (ou aux parents) de désactiver et de sauter ce processus tout au long de l'exécution expérimentale.
Dernier point mais non le moindre, il existe également une option pour Partager les données de calibration avec Labvanced. Principalement, il s'agit d'améliorer l'algorithme du suivi oculaire Labvanced pour une meilleure interface utilisateur, mais cela reste entièrement optionnel selon la discrétion du chercheur. Dans la prochaine partie, nous plongerons dans la page du canevas pour passer par quelques préparations supplémentaires avant la création de l'expérience et l'enregistrement des données.
Partie II : Éditeur de tâches
Au-delà de la préparation de l'étude de suivi des yeux avec la page des paramètres de l'étude, il y a d'autres préparations préliminaires à noter sur la page du canevas et des informations essentielles pour créer de nouvelles variables pour stocker les données de regard.
Signaux physiques
En cliquant sur le bouton Signaux physiques en haut à gauche de l'écran du canevas, la boîte de dialogue s'ouvrira avec différentes options de suivi des yeux (voir Figure 2). Tout d'abord, vous souhaitez activer le suivi des yeux dans l'édition de tâche pour permettre la mesure de regard pendant votre étude. Bien sûr, cela peut être désactivé si vous n'enquêtez que la mesure comportementale (par exemple, le temps de réaction et la précision).
Figure 2. Écran du canevas dans une tâche. La boîte rouge indique l'option Signaux physiques pour activer le suivi des yeux dans cette tâche et déterminer le nombre de points de fixation pour la validation interessai.
Il est important de noter que la calibration principale aura toujours lieu avant la première tâche de suivi des yeux. Par exemple, si vous avez quatre tâches dans une séquence de bloc pour la mesure du suivi oculaire, Labvanced demandera la calibration avant la 1ère des quatre tâches. Cela permettrait à l'expérimentateur de planifier en conséquence quand la calibration aura lieu dans la construction de l'étude.
L'autre option dans le même affichage d'options est le Nombre de Fixations à afficher pendant la phase de validation entre chaque essai (voir Figure 3). En définissant la valeur à zéro, cela sauterait le processus de validation. Cependant, augmenter le nombre de fixations présenterait plus de points de fixation pour valider la mesure du suivi des yeux pendant les périodes interessai. C'est important pour l'algorithme de suivi oculaire afin d'atténuer les erreurs systémiques et de calculer la correction de dérive. Par exemple, si certains participants s'orientent plus vers la gauche ou la droite, le processus de validation compensera cette dérive pour l'amélioration des erreurs. L'autre option utile est d'appliquer directement le décalage en cliquant sur la correction de dérive par utilisateur par essai. La dernière option à noter est le Nombre de fixations à utiliser pour la correction de dérive pour le nombre de points que vous souhaitez calculer pour la correction de dérive. Pendant la correction, les essais précédents sont pris en compte dans le calcul pour tenir compte de l'erreur du participant par rapport à la calibration principale.
Figure 3. Affichage des Signaux physiques. La boîte rouge indique les options affichées dans les Signaux physiques avec la valeur standard de fixations de 3 et la valeur de correction de dérive de 6.
Paramètres d'affichage
Une autre chose vitale à noter pour l'édition de tâche est les options de paramètres d'affichage. Pour la tâche générale Labvanced, le paramètre d'affichage est réglé sur le mode Zoom/Adaptatif (voir Figure 4 ci-dessous) qui adaptera le cadre d'affichage pour s'adapter à chaque écran pour l'affichage du participant. Mais pour le suivi des yeux, vous pourriez envisager l'option fixe en Degré visuel ou en Millimètre. Cela peut être très utile, car cela permettra de suivre le mouvement des yeux des participants en degrés visuels plutôt que de se fier aux unités de cadre d'écran qui nécessiteront également des calculs supplémentaires pour quantifier la distance spatiale. Le même avantage pourrait également être appliqué à la mesure en millimètres. De manière critique, changer l'option des paramètres d'affichage changera l'affichage des paramètres de l'étude, sur lequel nous reviendrons.
Figure 4. Affichage des paramètres d'affichage réglé par défaut en mode Zoom/Adaptatif
Retour aux paramètres de l'étude, le changement des paramètres d'affichage permettra d'autres options de Taille d'écran et Résolution pour définir la taille d'écran minimale soit en degrés visuels soit en millimètres (voir Figure 5 ci-dessous). Cependant, l'option Afficher la Calibration de l'écran sera toujours sélectionnée (affichée en gris), et cela fournit un modèle à l'écran qui invitera le participant à tenir un élément de la taille d'une carte de crédit à l'écran et à ajuster le modèle pour s'adapter à la taille physique de la carte. Une telle calibration de mesure physique permet à l'algorithme Labvanced d'inférer la taille d'affichage pour s'adapter aux variations des réglages de moniteur différents.
Figure 5. Affichage de la page des paramètres de l'étude. La boîte rouge indique les options pour définir la taille d'écran minimale en degrés visuels, millimètres ou pixels. Notez que l'option Afficher la Calibration de l'écran est toujours sélectionnée en gris.
Événements & Configuration des variables pour les données de suivi des yeux
Pour enregistrer les données de suivi des yeux, cela peut être fait en créant un nouvel événement. Si un expérimentateur souhaite mesurer le suivi des yeux par une image particulière, cela peut être configuré en utilisant le trigger Suivi des yeux sous Signaux physiologiques (voir Figure 6 ci-dessous). Cela signifie que chaque fois que la webcam traite une image ou une cible ; cela déclencherait la séquence de l'événement vers une action particulière. Par exemple, supposons que vous souhaitiez avoir un élément spécifique (par exemple, une croix de fixation) comme déclencheur. Dans ce cas, il y a une option de vérification : Déclencher uniquement lorsque vous regardez des éléments spécifiques, et définissez la cible sur un élément particulier (par exemple, une croix de fixation ou une image). En ne cochant pas cette option, le suivi des yeux enregistrera tout qui est suivi par l'action d'enregistrement.
Figure 6. Affichage de la configuration de l'événement pour enregistrer le suivi des yeux. La case à cocher sous le type de déclencheur indique l'option de déclenchement lors du regard sur des éléments spécifiques, comme une croix de fixation ou une image.
Pour définir la variable d'enregistrement, utilisez l'action typique Définir/Enregistrer variable, et sur le côté droit, suivez le déclencheur Utiliser (Suivi des yeux) pour procéder à l'option de données. Idéalement, il est recommandé de sélectionner l'[X, Y, T, C] tableau (voir Figure 7), car cela fournira toutes les mesures de regard cruciales :
- X = Coordonnée X du cadre
- Y = Coordonnée Y du cadre
- T = Horodatage UNIX
- C = Confiance de la détection oculaire pour blink/détection d'erreur
Figure 7. Affichage de la configuration de l'événement pour enregistrer les mesures de suivi des yeux.
Sur le côté gauche de l'action Définir/Enregistrer variable, une variable (idéalement une nouvelle variable) stockera les données de suivi des yeux. Lors de la création d'une nouvelle variable, il est crucial de définir le Format de la variable sur Tableau de trame de données - car le [X, Y, T, C] est un tableau de données, et de définir le type de données sur Numérique (voir Figure 8 ci-dessous). Enfin, il est important de changer le type d'enregistrement en Tous les changements/Séries temporelles. Nous discuterons de plus d'informations sur les séries temporelles dans une section ultérieure, mais en général, cette option permet d'enregistrer plusieurs valeurs par essai, plutôt que seulement la valeur finale à la fin de l'essai. Il serait idéal d'examiner plusieurs regards, temps et scores de confiance dans l'enregistrement au sein d'un essai afin que les séries temporelles fournissent plus de nuances à l'ensemble des mesures de suivi des yeux.
Figure 8. Affichage de la configuration de la nouvelle variable pour stocker les mesures de suivi des yeux. La boîte rouge supérieure indique le format défini sur tableau et le type de données sur numérique. Au-delà de ces deux paramètres importants, la seconde boîte rouge ci-dessous dépeint également l'option critique de séries temporelles qui serait requise pour visualiser les multiples mesures de regard dans un essai.
Partie III : Création de l'étude
Disons qu'un chercheur souhaite créer une tâche de discrimination d'objet (Figure 9A) en utilisant un clic de souris avec un nombre n de trials en utilisant la mesure du suivi oculaire. Cela pourrait être configuré en utilisant le déclencheur de souris et l'action Définir/Enregistrer (voir Figure 9A et 9B). L'action de saut pourrait suivre pour passer à l'essai suivant.
Figure 9. Affichage du canevas avec la configuration de discrimination d'objet avec deux affichages d'image (A) avec des événements configurés utilisant le déclencheur de souris (B) et l'action configurée (C) pour enregistrer l'image sélectionnée avec une action de saut subséquente.
Au-delà de l'enregistrement du clic de souris, la configuration du suivi oculaire nécessite deux enregistrements de variables supplémentaires qui sont cruciaux pour la mesure du regard. Il s'agit de Erreur de calibration et Erreur d'essai qui doivent être déclenchés par le Démarrage de la trame et procéder à l'action Définir/Enregistrer pour stocker de nouvelles variables (voir Figure 10 ci-dessous). L'erreur de calibration fournit une seule valeur numérique qui indique la précision de la calibration principale, et l'erreur d'essai se rapporte à la précision pendant chaque essai individuel. Une discussion ultérieure dans la section des vues de données fournira plus d'informations sur ces deux lectures.
Figure 10. Affichage de la création d'événements pour l'erreur de calibration et l'erreur d'essai.
Il est important de noter que l'arrière-plan doit être le même pendant la tâche principale de calibration lors d'une étude de suivi des yeux. Par exemple, dans la figure ci-dessous, l'affichage montre un arrière-plan blanc avec deux stimuli d'image. Cet arrière-plan devrait être le même dans la page Paramètres de l'étude (voir Figure 11) sous Couleur d'arrière-plan globale, qui est le même arrière-plan que Labvanced utilisera pour la calibration principale. Si les couleurs diffèrent entre la calibration principale et la phase d'étude, cela pourrait entraîner d'éventuelles erreurs dans les données, conduisant à une confusion expérimentale.
Figure 11. Affichage de la page des paramètres de l'étude. La boîte rouge indique la couleur d'arrière-plan qui doit être la même que celle de la page du canevas lors de la création principale de l'étude.
Pendant la phase d'enregistrement de l'étude, il y aura la vérification vidéo initiale courte (voir Figure 12). Comme mentionné précédemment, c'est ici que les participants se verront dans le superposition de maille faciale en bleu avant le début de l'étude. C'est également le moment où le participant évaluera si la vidéo fonctionne sans erreur ; sinon, cela indiquerait le matériel inadéquat pour traiter la vidéo rapidement. Si tel est le cas, le chercheur doit demander aux participants d'abandonner l'étude, économisant du temps inutile de leur part et diminuant l'attrition avec les données complètes.
Figure 12. Affichage de la vérification préliminaire du traitement vidéo/webcam avec superposition de maille bleue
Si le participant décide de continuer après la phase de vérification vidéo, les instructions de calibration apparaîtront avec une instruction d'écran par défaut. L'expérimentateur pourrait modifier l'instruction ; sinon, le conseil général invitera le participant à :
- Être dans une pièce calme
- Avoir suffisamment de temps
- Ne pas porter de lunettes - la propriété réfléchissante de certains verres pourrait affecter la lecture
- Maintenir la position centrale de l'écran
Après cela, le participant doit positionner sa tête dans diverses orientations, en faisant correspondre la maille superposée bleue au masque vert servant de repose-menton virtuel (voir Figure 13). Cela permettra à l'algorithme de s'entraîner individuellement pour chaque participant avec différentes orientations de tête afin de prédire la position des yeux pendant les mouvements subtils de la tête durant la phase d'étude. Comme mentionné précédemment, l'important aspect du repose-menton virtuel, les différentes orientations de tête que le participant doit suivre joueront les mêmes fonctions que le repose-menton physique pour atténuer le désaccord au niveau de la tête. Supposons qu'il y ait un écart significatif entre la maille superposée bleue et le masque vert. Dans ce cas, le programme interrompra pour instruire les participants à réorienter leur position de tête après l'essai respectif. Cette interruption se produira pendant la phase principale de calibration et tout au long de l'étude ; un tel désalignement significatif de la tête est détecté par le suivi de la webcam. En rappel rapide, la durée de la calibration principale variera de <1 min à 8 min, ce dernier nécessitant plus d'orientations de la tête avec une calibration de fixation supplémentaire pour fournir la mesure la plus précise. Enfin, tout au long des essais d'étude, la session de validation avec un nombre variable de points de fixation sera présente pour minimiser la variation d'erreur et médiatiser les lectures précises pour les scores de confiance.
Figure 13. Affichage du processus de calibration de la tête avec le masque vert "repose-menton virtuel". La première image (A) affiche la détermination de la pose centrale initiale. La seconde image (B) montre un décalage de position de la tête et le dialogue du programme pour repositionner la tête au repose-menton virtuel vert.
Partie IV : Vue des données
Après les sessions du participant, les données de suivi des yeux enregistrées peuvent être consultées en cliquant sur la page Vue des données & Exporter (voir Figure 14). Pour Labvanced, la plateforme fournit deux types de jeux de données que l'expérimentateur peut télécharger : Données normales et Données de séries temporelles.
Figure 14. Affichage de la vue des données où les données standard et les données de séries temporelles peuvent être téléchargées dans la boîte rouge.
Données normales
Il s'agit d'une structure conventionnelle du jeu de données qui affichera chaque variable en colonnes, et chaque ligne représentera chaque essai. Le jeu de données inclura toujours un identifiant unique de participant pour chaque répondant et une identification si cela était requis dans l'étude. Une chose à noter dans ce jeu de données est que l'erreur de calibration (erreur de calib dans la Figure 15 ci-dessous) indique les données générales de suivi des yeux qui ont été obtenues pendant la calibration principale. Par conséquent, cette valeur restera cohérente tout au long du jeu de données. Pour la colonne d'erreur d'essai, elle affichera des valeurs continues qui varieront tout au long des essais. Idéalement, une diminution de cette colonne tout au long des essais indique une diminution de la variance d'erreur de la mesure, ce qui est un bon indicateur de la confiance générale des mesures obtenues.
Figure 15. Affichage incomplet de la vue normale des données avec certaines des colonnes indiquant des variables critiques : numéro d'essai, erreur de calibration, image choisie et erreur d'essai.
Données de séries temporelles
C'est une représentation plus longue du jeu de données qui dépeint plusieurs mesures dans chaque essai traitées par la webcam (ainsi que le suivi de souris si nécessaire). Par conséquent, ce jeu de données indiquera plusieurs lignes pour le même essai et les quatre dernières colonnes (voir Figure 16 ci-dessous) indiquent les données du tableau [X, Y, T, C] que nous avons mentionnées dans la partie précédente de la configuration des variables d'événements. Ces quatre colonnes indiquent les éléments suivants :
- X = Position X du regard dans l'unité des coordonnées du cadre
- Y = Position Y du regard dans l'unité des coordonnées du cadre
- T = horodatage précis (temps UNIX) lorsque le regard s'est produit
- C = confiance pour les données de regard respectives
Figure 16. Affichage incomplet des données de séries temporelles avec les quatre dernières colonnes : coordonnée x, coordonnée y, temps UNIX et scores de confiance.
Pour les coordonnées X & Y, ces données brutes de mesure de regard pourraient être évaluées avec les trames principales de l'étude pour extrapoler où le participant regardait pendant cet événement. Dans le canevas principal, la configuration standard du cadre est de 800x450 unités de coordonnées de cadre (voir figure 17 ci-dessous). Par conséquent, en cliquant sur l'objet, l'expérimentateur peut extrapoler sa position relative X & Y à l'écran pour inférer si le regard du participant a atteint le stimulus - permettant le calcul de la zone d'intérêt (AOI).
Pour les données de confiance finales, cela informe à quel point l'œil a été détecté à l'aide de la webcam, en tenant compte de la détection de l'iris/de la pupille et de la détection de clignement. Les valeurs varieront dans l'intervalle de 0 à 1, où les scores approchant 1 indiquent la robustesse des bonnes mesures. La valeur plus basse se rapprochant de 0 est considérée comme des données moins fiables ou dignes de confiance, car cela pourrait indiquer un flou rétinien lors d'un mouvement de tête particulier ou une détection de clignement lors de cette mesure.
Figure 17. Affichage de la page du canevas. La première boîte rouge en bas affiche les mesures standard du cadre de 800 x 450 unités de coordonnées de cadre. La seconde boîte rouge à droite affiche la position des coordonnées x & y de la première image de chat qui pourrait servir de zone d'intérêt (AOI) pour l'analyse.
En dernière note, le taux d'échantillonnage de Labvanced ne peut pas dépasser 30 images par seconde. Nous visons à améliorer cela à l'avenir, mais il est important de noter que la plupart des webcams ont actuellement un seuil de 30 images par seconde. Enfin, sur notre dépôt Github, nous avons actuellement plusieurs scripts qui pourraient être utiles pour l'analyse WebSocket & données. Nous espérons fournir plus de scripts à l'avenir, et nous travaillons actuellement sur un nouvel algorithme pour calculer la détection de fixation qui pourrait être très utile pour les études expérimentales basées sur l'oculaire.