アイ・トラッキング手順
Labvancedの最初の手順へようこそ。これは、次のプロジェクトのためのアイ・トラッキング設定ガイドを特徴としています。全体として、この情報は研究作成の前に全体的なシステム設定チェックから始まり、最終的にはデータビュー説明に至るまで、4つの部分に分かれています。このステップバイステップの文書に加えて、動画のチュートリアルもLabvancedビデオチュートリアルで利用可能で、オンライン実験作成をサポートする他のガイドも用意されています。それでは、アイ・トラッキング研究の作成に入っていきましょう。
Part I: システム設定
まず、アイ・トラッキング測定のためにLabvanced V2を選択することが不可欠です（以下の図1）。その後、キャリブレーションの長さを選択するための3つのオプションがあります。標準のデフォルトオプションは5分ですが、Experimenterは<1分、3分、または8分のキャリブレーションを選択することもできます。長い期間を設定すると、より多くの頭の位置キャリブレーションが必要になり、注視点が増えることで最も最適な測定精度が提供されます。ただし、研究の種類や参加者を考慮すると、時間と参加者の疲労を軽減するために短い期間が最適であることもあります。特にあなたの研究に乳児が含まれている場合はそうです。
図1. 研究設定ページの最初の画面。Experimenterはアイ・トラッキングオプションを活性化して、表示された赤いボックス内の次の選択を調整する必要があります。
乳児について話すと、キャリブレーション画像タイプのための動物画像オプションを選択することで、若い参加者からの視線読みの最適化を図る追加のオプションがあります。動物キャリブレーションディスプレイは、乳児に優しいモードの選択と組み合わせることができます（図1参照）。このオプションを選択すると、自動的にキャリブレーションを短縮し、音声（オフにも設定可能）を伴って、乳児の注意を引き、退屈を減少させます。同じセクション内にあるグリッドを表示オプションは、参加者が次のキャリブレーションポイントを予測するのに役立つ可能性があります。
グリッドを表示するオプションのすぐ下には、初期テスト動画ストリームを表示するオプションもあります（図1参照）。参加者はこれを選択することで、主なキャリブレーションの前に顔メッシュオーバーレイとともに自分自身を見ることになります。顔メッシュの重要性については、この手順書の後のセクションでさらに説明しますが、テスト動画を持つことは、参加者のコンピュータがウェブカメラアイ・トラッキング測定を処理できるかどうかを確認するために強く推奨されます。推奨として、アイ・トラッキングの最適化のためには、別のGPUを持つコンピュータを使用するのが理想的です。参加者のハードウェアが最適でない場合、初期テスト動画は静止したままとなり、進行しません。それは、参加者が研究を続けるべきかを確認するための初期チェックとして機能します。この場合、コンピュータハードウェアが最適でない場合、参加者は研究を中止し、包括的なデータ内でデータノイズを減少させるためのExperimenterに助けることができます。
さらに、Experimenterは同じ設定ディスプレイ内で頭のポーズ整列オプションを選択することもでき、これは仮想的な顎の休息の役割を果たします。この追加の測定は、顎がヘッドマウントに置かれて、頭を静かに保つために使用される物理的顎の休息の機能を模倣することを目的としています。頭の位置整列オプションをチェックすることによって、Labvancedはキャリブレーションステージ中にさまざまな頭の向きを測定します。その特定のプロセスの後の段落で、さらに詳細な情報が提供されます。目の測定に頭の位置を考慮することで、頭の不整合によって引き起こされるノイズを軽減することによってデータの質が向上します。参加者が中央のポーズから大きく頭を動かした場合、プログラムは研究を中断し、参加者に仮想的な顎の休息に再整列し、再集中するように促します。これは、参加者の焦点を助け、研究を通じて同様の頭の位置を維持するのに役立ちます。さらに重要なことに、頭の位置を制御することで、データの全体的な質も助けられます。このオプションを有効にすることは強く推奨されますが、実験の実行中に無視するオプションもあります。参加者によっては、特に乳児が関与する場合、継続的な頭の位置維持が困難であるため、参加者（または親）がこのプロセスをオフにしてスキップすることを許可するオプションもあります。
最後になりましたが、Labvancedとキャリブレーションデータを共有するオプションもあります。これは主にLabvancedアイ・トラッキングのアルゴリズムを改善するためのもので、ユーザーインターフェイスをより良くするためですが、これは研究者の裁量に完全に基づいています。次の部分では、実験の作成とデータ記録のために、キャンバスページへ進んでいきます。
Part II: タスクエディタ
研究設定ページでアイ・トラッキング研究の準備をすることに加えて、キャンバスページ上でさらに注意すべき初期準備と、視線データを保存するための新しい変数を作成するための基本情報があります。
物理信号
キャンバス画面の左上の物理信号ボタンをクリックすると、異なるアイ・トラッキングオプションのダイアログが開きます（図2参照）。まず、タスクの編集でアイ・トラッキングを有効にして、研究中に視線の測定が発生することを許可する必要があります。もちろん、これは行動計測（例：反応時間や精度）だけを調査する場合には無効にすることができます。
図2. タスク内のキャンバス画面。赤いボックスは、このタスクでアイ・トラッキングを有効にし、各試行間の検証のために注視ポイントの数を決定するための物理信号オプションを示します。
重要なのは、主なキャリブレーションは常に最初のアイ・トラッキングタスクの前に行われるということです。例えば、もし目のトラッキング測定のためにブロックシーケンスに4つのタスクがある場合、Labvancedは最初の4つのタスクの前にキャリブレーションを促します。これにより、Experimenterは研究構造内でキャリブレーションが行われるタイミングを適切に計画することができます。
同じオプションディスプレイ内のもう一つのオプションは、各試行間の検証ステージ中に表示する焦点の数（図3参照）です。値をゼロに設定すると、検証プロセスがスキップされます。しかし、焦点数を増やすことで、試行間のアイ・トラッキング測定のための検証点が増えます。これは、アイ・トラッキングアルゴリズムがシステマティックエラーを軽減し、ドリフト補正を計算するために重要です。例えば、一部の参加者が左または右のいずれかにより多く向いている場合、検証プロセスはこのドリフトを相殺してエラーの改善を行います。もう一つの便利なオプションは、各試行のユーザーごとのドリフト補正をクリックすることによってオフセットを直接適用することです。最後に注目すべきオプションは、ドリフト補正のために使用する焦点の数で、ドリフト補正の計算を行いたいポイントの数です。補正中には、過去の試行が計算に考慮され、主要なキャリブレーションからの参加者のエラーが計算されます。
図3. 物理信号の表示。赤いボックスは、標準の焦点値が3でドリフト補正値が6である状態で物理信号内に表示されたオプションを示します。
ディスプレイ設定
タスク編集で注意すべきもう一つの重要なことは、ディスプレイ設定オプションです。一般的なLabvancedタスクでは、ディスプレイ設定はズーム/適応モード（以下の図4参照）に設定されており、これは参加者のディスプレイにすべての画面にフィットするように表示フレームをスケーリングします。しかし、アイ・トラッキングの場合は、視覚度またはミリメートルオプションのいずれかで固定オプションを検討することができます。これは非常に便利で、参加者の視線の動きを視覚度で追跡し、表示フレームユニットに依存しないようにすることができます。ミリメートル測定にも同様の利点が適用される可能性があります。重要なことに、ディスプレイ設定オプションを変更すると、研究設定の表示も変更されるため、そのディスプレイまで戻る必要があります。
図4. デフォルトのズーム/適応モードに設定されたディスプレイ設定の表示
研究設定に戻ると、ディスプレイ設定の変更により、画面サイズと解像度の追加オプションが、視覚度またはミリメートル（以下の図5参照）で定義された最小画面サイズを示します。ただし、画面キャリブレーションを表示するオプションは常に選択されており（グレーで表示されます）、これはテンプレートを画面上に提供し、参加者がクレジットカードサイズのアイテムを画面に向けて持ち、テンプレートを物理カードサイズに合わせて調整するように促します。このような物理的な測定キャリブレーションにより、Labvancedアルゴリズムは表示サイズを推測し、さまざまなモニター設定の変動に対応できるようになります。
図5. 研究設定ページの表示。赤いボックスは、視覚度、ミリメートル、またはピクセルでの最小画面サイズの設定オプションを示しています。画面キャリブレーションの表示は常にグレーで選択されています。
アイ・トラッキングデータのためのイベントと変数設定
アイ・トラッキングデータを記録するには、新しいイベントを作成することができます。Experimenterが特定の画像によるアイ・トラッキングを測定したい場合は、生理信号の下のアイ・トラッキングトリガーを使用して設定できます（以下の図6参照）。これは、ウェブカメラが画像またはターゲットを処理するたびに、特定のアクションによってイベントのシーケンスがトリガーされることを意味します。例えば、特定の要素（例：注視 крест）がトリガーとして欲しい場合、特定の要素を見ているときにのみトリガーというチェックオプションがあります。そして、ターゲットを特定のアイテム（例：注視十字または画像）に設定します。このオプションをチェックしない場合、アイ・トラッキングは記録アクションに従ったすべてのものを記録します。
図6. アイ・トラッキングを記録するためのイベント設定の表示。トリガータイプの下のチェックボックスは、注視十字や画像などの特定の要素を見ているときのトリガーオプションを示しています。
記録変数を設定するには、一般的な設定/記録変数アクションを使用し、右側でデータオプションに進むために使用トリガー（アイ・トラッキング）を続けます。理想的には、[X, Y, T, C]配列（図7参照）を選択することが推奨されます。これにより、以下の重要な視線測定が提供されます：
- X = フレーム座標のX位置
- Y = フレーム座標のY位置
- T = 視線が発生したときのUNIXタイムスタンプ
- C = まばたき/エラー検出のための目の検出の信頼性
図7. アイ・トラッキング測定を記録するためのイベント設定の表示。
設定/記録変数アクションの左側で、新しい変数が作成され、アイ・トラッキングデータが保存されます。新しい変数を作成する際には、変数フォーマットをデータフレーム配列に設定することが重要です—[X, Y, T, C]は配列データであり、データタイプを数値に設定します（以下の図8参照）。最後に、記録タイプをすべての変化/タイム系列に変更することが重要です。タイム系列に関する詳細は後のセクションで説明しますが、一般的にはこのオプションは試行の最後の値だけでなく、試行ごとに複数の値を記録することを可能にします。これは、複数の視線、時間、信頼性スコアを記録する際に理想的であり、タイム系列はアイ・トラッキング測定全体によりニュアンスを持たせるでしょう。
図8. アイ・トラッキング測定を保存するための新しい変数設定の表示。上部の赤いボックスはフォーマットを配列に、データタイプを数値に設定していることを示しています。これら2つの重要な設定に加えて、下方の2つ目の赤いボックスも、試行内の複数の視線測定を表示するために必要な重要なタイムシリーズオプションを示しています。
Part III: 研究作成
研究者がアイ・トラッキング測定を使用してマウスクリックでオブジェクト識別タスク（図9A）をn回の試行で作成したいとしましょう。これはマウストリガーと設定/記録アクションを使用して設定できます（図9Aおよび9Bを参照）。この後、ジャンプアクションを行って次の試行に移ることができます。
図9. 2つの画像表示を持つオブジェクト識別の設定と、マウストリガーを使用したイベントの設定（A）および選択した画像を記録し、次のアクションを設定する（B）のために設定されたキャンバスの表示。
マウスクリックを記録することを超えて、アイ・トラッキング設定は視線測定のために重要な2つの変数録音が必要です。これらは、キャリブレーションエラーと試行エラーであり、これはフレーム開始によってトリガーされ、新しい変数を保存するための設定/記録アクションに続きます（以下の図10参照）。キャリブレーションエラーは、主要キャリブレーションの精度を提供する単一の数値を提供し、試行エラーは各試行の精度に関連します。後のデータビューセクションで、これら2つの読み値に関する詳細情報が提供されます。
図10. キャリブレーションエラーと試行エラーの作成表示。
背景は、アイ・トラッキング研究中の主要キャリブレーションタスク中に同じである必要があることに注意してください。例えば、下の図では、白い背景に2つの画像刺激が表示されています。この背景は、研究設定ページ（図11参照）で、全体的な背景色の下に同じである必要があります。これはLabvancedが主要キャリブレーションに使用する背景です。主要キャリブレーションと研究段階で背景の色が異なる場合、これによりデータにエラーが発生し、実験の混乱を引き起こす可能性があります。
図11. 研究設定ページの表示。赤いボックスは、主要研究作成中にキャンバスページの背景色と同じであるべき背景色を示しています。
研究の記録段階では、初期の短いビデオチェックが行われます（図12参照）。前述のように、これは参加者が研究開始前に青い顔オーバーレイメッシュで自分自身を見るところです。これは、参加者がビデオがエラーなしに機能するかどうかを評価するタイミングでもあります。そうでない場合、これはビデオを迅速に処理するための不適切なハードウェアを示すことになります。この場合、研究者は参加者に研究を中止するように指示し、無駄な時間を省き、包括的なデータにおける離脱を減少させます。
図12. 青いメッシュオーバーレイでのウェブカメラ/ビデオ処理チェックの表示
参加者がビデオチェックフェーズの後に先に進む場合、キャリブレーションの指示がデフォルトの画面指示とともに表示されます。Experimenterはこの指示を変更できますが、そうでない場合、一般的なアドバイスが参加者に促されます：
- 静かな部屋にいること
- 十分な時間があること
- メガネをかけないこと - 一部のレンズの反射特性が読み取りに影響を与える可能性があります
- 画面の中心位置を維持すること
続いて、参加者は頭をさまざまな方向に位置させ、青いオーバーレイメッシュを緑のマスクに合わせて仮想的な顎の休息（図13参照）として機能させる必要があります。これにより、アルゴリズムは個々の参加者ごとにそれぞれの頭の向きに対して訓練を行い、研究段階中の微小な頭の動きの間に目の位置を予測します。前述の仮想顎の休息の重要な機能のように、参加者が従う必要のあるさまざまな頭の向きは、頭の不整合を軽減するための物理的顎の休息と同じ機能を果たします。青いオーバーレイメッシュと緑のマスクの間に重要な不整合がある場合、プログラムは参加者にそれぞれの試行の後に頭の位置を再整列させるように指示して中断します。この中断は、主要キャリブレーション段階と研究全体中に発生します。ウェブカメラのトラッキングによって重要な頭の不整合が検出された場合です。迅速なリマインダーとして、主要キャリブレーションの期間は、<1分から8分まで変動します。後者は、最も正確な測定を提供するために追加の注視キャリブレーションを伴った頭の位置の向きを必要とします。最後に、研究試行を通じて異なる焦点ポイント数による検証セッションが存在し、エラーのばらつきを最小限に抑え、信頼性スコアに対する正確な読み取りを仲介します。
図13. 緑の「仮想的な顎の休息」マスクを使用した頭のキャリブレーションプロセスの表示。最初の画像（A）は中央のポーズ決定を示し、2番目の画像（B）は頭の位置の不整合と、プログラムのダイアログを示して頭を緑の仮想顎の休息に再配置するように指示します。
Part IV: データビュー
参加者の実行後、記録されたアイ・トラッキングデータは、データビュー＆エクスポートページをクリックすることで表示できます（図14参照）。Labvancedでは、このプラットフォームはExperimenterがダウンロードできる2種類のデータセットを提供します：通常のデータとタイムシリーズデータ。
図14. 標準データとタイムシリーズデータをダウンロードできるデータビュー表示（赤いボックス内）。
通常のデータ
これは、各変数を列に表示し、各行が各試行を表すデータセットの従来の構造です。このデータセットには、各応答者に対して一意の参加者IDが常に含まれ、研究で要求された場合の識別が行われます。このデータセットに関する一つの注意点は、キャリブレーションエラー（以下の図15ではCalib error）が、主要キャリブレーション中に取得された一般的なアイ・トラッキングデータを示すことです。したがって、この値は全体のデータセットを通じて一貫性があります。試行エラー列は、試行間で変動するいくつかの連続値を表示します。理想としては、この列の試行間での減少は、測定のエラー分散の減少を示しており、得られた測定の全体的な信頼性が良好であることを示しています。
図15. 試行番号、キャリブレーションエラー、選択した画像、試行エラーなどの重要な変数を示す不完全な通常データビューの表示。
タイムシリーズデータ
これは、ウェブカメラ（および必要に応じてマウストラッキング）によって処理された各試行内の複数の測定を描写するデータセットの長い表現です。このため、このデータセットは、同じ試行に対して複数の行を示し、最後の4列（以下の図16参照）は、前のイベント変数設定の際に言及した[X, Y, T, C]配列データを示します。これらの4つの列は以下を示します：
- X = フレーム座標の視線のX位置
- Y = フレーム座標の視線のY位置
- T = 視線が発生したときの正確なタイムスタンプ（UNIX時間）
- C = 各視線データの信頼性
図16. X座標、Y座標、UNIX時間、および信頼性スコアの最後の4列を含む不完全なタイムシリーズデータ表示。
XおよびY座標について、これらの生の視線測定データは、主要研究フレームと評価され、参加者がこのイベント中にどこを見ていたかを浮き彫りにすることができます。主要キャンバスでは、標準フレーム設定は800x450フレーム座標ユニットです（以下の図17参照）。したがって、オブジェクトをクリックすることで、Experimenterは相対的なXおよびY位置を推測し、参加者の視線が刺激に当たったかどうかを推測できます—これにより、注目エリア（AOI）計算が可能になります。
最後の信頼性データは、アイがどの程度良くウェブカメラによって検出されたかを示しており、虹彩/瞳孔の検出やまばたき検出を考慮します。値は0から1の間で変動し、スコアが1に近づくほど良好な測定の堅牢性を示しています。値が低く0に近づくものは、特に頭の動きや測定中のまばたき検出による網膜ブレの可能性があるため、信頼性が低いデータと見なされます。
図17. キャンバスページの表示。下部の赤いボックスでは、標準的なフレーム測定が800 x 450フレーム座標として表示されています。右側の2番目の赤いボックスには、分析のための関心領域（AOI）として機能する可能性のある最初の猫画像のxおよびy座標位置が表示されています。
最後に、Labvancedのサンプリングレートは、1秒あたり30フレームを超えないことに注意してください。将来的にはこれを改善することを目指していますが、現在のほとんどのウェブカメラが30フレーム/秒の制限を持っていることは重要です。最後に、私たちのGithubリポジトリでは、現在WebSocketおよびデータ分析に役立つ複数のスクリプトが利用可能です。将来的により多くのスクリプトを提供し、視線検出を計算する新しいアルゴリズムを現在開発中です。これは眼球に基づく実験研究に非常に役立つ可能性があります。