戴眼睛追踪的操作指南
欢迎来到第一个 Labvanced 操作指南，展示了您下一个项目的眼动追踪设置。总体而言，这些信息内容将分为四个部分，从创建研究前的整体系统设置检查开始，最后到数据视图说明。除了这个逐步文档外，Labvanced 视频教程中也提供了视频 教程 内容，以及其他所有指南，帮助您进行在线实验创建。事不宜迟，让我们深入研究眼动追踪研究的创建。
第一部分：系统设置
首先，选择 Labvanced V2 进行眼动追踪 测量（如下图 1 所示）是非常重要的，使用我们的深度学习算法。之后，有三个选项可供选择标定的长度。标准默认选项为 5 分钟，但实验者也可以选择 <1 分钟、3 分钟或 8 分钟标定。较长的时间将要求更多的头部位置标定，增加的注视点提供最优测量精度。然而，考虑到研究的类型和参与实验的参与者，较短的时间也可能是最优的，尤其是当您的研究中有婴儿时，可以减轻参与者的时间和疲劳。
图 1. 研究设置页面下的初始屏幕。实验者必须选择“启用眼动追踪”选项，以调整显示红框内的以下选项以使用眼动追踪。
说到婴儿，有额外的选项可以通过选择动物图像选项来优化年轻参与者的注视读取，适用于 标定图像类型。动物标定显示可以与 婴儿友好模式 选择配对（见图 1）。选择此选项将自动调整较短的标定，并伴随声音（也可以关闭），以帮助婴儿的注意力并减少无聊。在同一部分，显示网格 选项可以帮助参与者预测标定的下一个点，以帮助进行最佳的标定过程。
在“显示网格”选项下方，还有一个选项以检查 显示初始测试视频流（见图 1）。参与者将看到自己在主标定之前的视频流中带有面部网格的覆盖。面部网格的重要性将在本操作指南后面的部分进行进一步解释，但强烈建议拥有测试视频，以查看参与者的计算机是否能够处理网络摄像头眼动追踪测量。作为建议，理想情况下使用单独 GPU 的计算机进行最佳眼动追踪。如果参与者的硬件不理想，在这种情况下，初始测试视频将保持静态并不再继续，作为是否参与者应该继续研究的初步检查。在此情况下，参与者可以中止研究，帮助实验者减少综合数据中的数据噪声。
此外，实验者还可以在同一设置显示中选择 头部姿态对齐 选项，充当虚拟下巴托架。此附加测量旨在模拟实验室环境中使用的物理下巴托架的功能，其中下巴位于头部支撑上，以保持头部的静止。通过检查头部位置对齐选项，Labvance 将在标定阶段测量各种头部方向。有关其特定过程的更多信息将在后面的段落中提供。将头部位置考虑在内进行眼部测量将提高数据质量，减少由头部不对齐引起的噪声。如果参与者显著将头部移出中心姿态，程序将中断研究，并提示参与者重新对齐并重新聚焦于虚拟下巴托架，帮助参与者的注意力并在研究过程中保持类似的头部位置。更重要的是，控制头部位置也将有助于您数据的整体质量。虽然强烈建议启用此选项，但在实验运行中也有选项可以忽略。根据参与者的研究情况，持续维护头部位置可能对婴儿而言很困难，因此该选项将允许参与者（或父母）在实验运行中关闭并跳过此过程。
最后但同样重要的是，还有一个选项可以 与 Labvanced 共享标定数据。 主要目的是改善 Labvanced 眼动追踪的算法，以提高用户界面，但完全取决于研究人员的判断。接下来的部分，我们将深入画布页面，在实验创建和数据记录之前进行更多的准备。
第二部分：任务编辑器
除了通过研究设置页面准备眼动追踪研究外，还有一些在画布页面上需注意的额外初步准备和创建新变量以存储注视数据的重要信息。
物理信号
通过单击画布屏幕左上角的物理信号按钮，弹出窗口将打开，可选择不同的眼动追踪选项（见图 2）。首先，您需要在任务编辑中启用眼动追踪，以允许在研究中进行注视测量。当然，如果您只调查行为测量（例如反应时间和准确性），则可以禁用此选项。
图 2. 任务中的画布屏幕。红框表明物理信号选项以在此任务中启用眼动追踪，并确定每次试验验证的注视点数量。
重要的是，主标定将始终在第一个眼动追踪任务之前进行。例如，如果您有四个任务的眼动测量区块序列，则 Labvanced 将在四个任务中的第一个任务之前提示标定。这将使实验者可以根据需要进行规划，以确定标定在研究构建中的发生时机。
在同一选项显示中的另一个选项是验证阶段中每次试验之间显示的注视数量（见图 3）。将值设置为零将跳过验证过程。然而，增加注视数量将在试验间隔期间展示更多的验证注视点。这对眼动追踪算法至关重要，以减轻系统误差并计算漂移修正。例如，如果一些参与者更倾向于向左或向右，验证过程将抵消这些漂移以改善错误。另一个有用的选项是通过单击用户每次试验漂移修正来直接应用偏移。最后一个值得注意的选项是用于漂移修正的固定数量，这表明您希望计算漂移修正的点数。在修正过程中，过去的试验将被纳入计算中，以考虑参与者的主要标定误差。
图 3. 物理信号的显示。红框指示物理信号中显示的选项，标准注视值为 3，漂移修正值为 6。
显示设置
另一个值得注意的任务编辑的重要事项是显示设置选项。对于一般的 Labvanced 任务，显示设置设置为 缩放/自适应 模式（见下图 4），这将调整显示框架以适应参与者的每个显示屏。但是对于眼动追踪，您可能会考虑在 视觉角度 或 毫米 选项中选择固定选项。这是非常有用的，因为这将允许追踪参与者的眼动，以视觉角度而非依赖于显示屏单位框架，这还需要额外计算以量化空间距离。同样的好处也可以应用于毫米测量。关键是，改变显示设置选项将更改研究设置显示，我们将回溯到该显示。
图 4. 显示设置设置为默认的缩放/自适应模式
回到研究设置，显示设置的更改将提供其他选项 屏幕大小和分辨率，以定义以视觉角度或毫米为单位的最小屏幕大小（见下图 5）。然而，显示屏校准 选项始终会被选中（以灰色显示），并且提供一个模板，提示参与者将一张信用卡大小的物品靠近屏幕，并调整模板以适应实体卡的大小。这种物理测量的校准使 Labvanced 算法能够推断显示大小，以适应不同监视器设置的变化。
图 5. 研究设置页面显示。红框指示以视觉角度、毫米或像素设置的最小屏幕大小选项。注意显示屏校准始终以灰色选中。
事件和变量设置以获取眼动追踪数据
要记录眼动追踪数据，可以通过创建新事件来实现。如果实验者希望通过特定图像测量眼动追踪，可以在 生理信号 下设置 眼动追踪 触发器（见下图 6）。这意味着每当网络摄像头处理图像或目标时，将触发特定动作的事件序列。例如，如果您希望将特定元素（例如注视十字）作为触发器。在这种情况下，有一个选项可以检查：仅在查看特定元素时触发，并将目标设置为特定项（例如注视十字或图像）。如果不勾选此选项，眼动追踪将记录任何紧随记录操作的内容。
图 6. 显示事件设置以记录眼动追踪。触发类型下的复选框指示在查看特定元素时的触发选项，例如注视十字或图像。
要设置记录变量，使用典型的 设置/记录变量 操作，在右侧按照使用触发器（眼动追踪）继续数据选项。理想情况下，建议选择 [X, Y, T, C] 数组（见下图 7），因为这将提供所有关键的注视测量：
- X = X 帧坐标
- Y = Y 帧坐标
- T = UNIX 时间戳
- C = 眼动检测的置信度，用于眨眼/错误检测
图 7. 显示事件设置以记录眼动追踪测量。
在设置/记录变量操作的左侧，将存储眼动追踪数据的变量（最好是一个新变量）。创建新变量时，重要的是将变量格式设置为 数据框数组 - 因为 [X, Y, T, C] 是数组数据，并将数据类型设置为 数字（见下图 8）。最后，重要的是将记录类型更改为 所有变化/时间序列。 我们将在稍后的部分讨论时间序列的更多信息，但一般来说，这个选项允许在试验中记录多个值，而不仅仅是试验结束时的最终值。理想情况下，查看多次注视、时间和置信度分数在试验内的记录，这样时间序列将为整体眼动追踪测量提供更多细微差别。
图 8. 显示新变量设置以存储眼动追踪测量。顶部红框指示格式设置为数组，数据类型设置为数字。除了这两个重要设置外，第二个红框下方还描绘了查看试验中多个注视测量所需的关键时间序列选项。
第三部分：研究创建
假设研究人员希望创建一个对象识别任务（见图 9A），使用鼠标点击进行 n 次试验，并使用眼动追踪测量。这可以通过鼠标触发器和设置/记录操作设置（见图 9A 和 9B）。跳转操作可以跟随此操作以移动到下一个试验。
图 9. 画布的显示，设置了对象识别，并有两个图像显示（A）以及使用鼠标触发器（B）设置的事件和（C）以记录选定图像的后续跳转操作。
除了记录鼠标点击外，眼动追踪设置还需要两个记录变量，对于注视测量至关重要。这些是 错误标定 和 错误试验，需要通过 帧开始 触发并继续 设置/记录 操作以存储新变量（见下图 10）。错误标定提供一个单一的数值，表明主要标定的精度，而错误试验与每个单独试验期间的精度相关。稍后在数据视图部分的讨论将提供有关这两项读数的更多信息。
图 10. 事件创建的显示，包含错误标定和错误试验。
重要的是，在眼动追踪研究期间，主标定任务期间的背景应保持一致。例如，在下面的图中，显示了白色背景和两个图片刺激。这个背景应该与 研究设置 页面（见图 11）下的 整体背景色 一致，这将是 Labvanced 用于主标定的相同背景。如果主标定和研究阶段之间的颜色不同，这可能会导致数据中的潜在错误，导致实验混淆。
图 11. 研究设置页面的显示。红框指示背景颜色应与主研究创建期间的画布页面保持一致。
在研究的记录阶段，将进行初始短视频检查（见图 12）。如前所述，这是参与者将在研究启动之前看到自己在蓝色面部覆盖网格中的地方。这也是参与者将评估视频是否正常工作，没有任何错误；否则，这将表明处理视频的硬件不足。如果是这种情况，研究人员会指示参与者中止研究，节省他们的时间，减少综合数据的流失。
图 12. 显示初步的网络摄像头/视频处理检查，带有蓝色网格覆盖
如果参与者在视频检查阶段之后继续，则标定说明将以默认屏幕说明显示。实验者可以更改说明；否则，通常的建议将提示参与者：
- 处于安静的房间
- 有足够的时间
- 不要戴眼镜 - 一些镜片的反射特性可能影响读取
- 保持屏幕的中心位置
随后，参与者需要将其头部定位到各种方向，以配合蓝色覆盖网格与绿色“面具”，这将作为虚拟下巴托架（见图 13）。这将使算法为每个参与者的不同头部方向进行单独训练，以预测研究阶段的细微头部运动期间眼睛的位置。如前所述，虚拟下巴托架的重要特征是，参与者必须遵循不同的头部方向，以减轻头部不一致带来的影响。如果蓝色覆盖网格与绿色面具之间存在显着的差异，程序将中断，指示参与者在相应的试验后重新调整其头部位置。此中断将在主标定阶段和整个研究中发生；如果通过网络摄像头跟踪检测到显着的头部不对齐，就会这样做。需要快速提醒的是，主标定的持续时间将变化，从 <1 分钟到 8 分钟，因为后者需要更多的头部位置朝向和附加的注视标定，以提供最佳的准确测量。最后，在研究试验中，验证阶段将提供变化数量的注视点，以尽量减少错误变化并调解置信度分数的准确读取。
图 13. 显示头部标定过程与绿色“虚拟下巴托架”面具。第一张图片（A）显示初始中心姿态的确定。第二张图片（B）显示头部位置不一致，程序的对话框提示重新定位头部以适应绿色虚拟下巴托架。
第四部分：数据视图
在参与者运行之后，记录的眼动追踪数据可以通过单击数据视图和导出页面查看（见图 14）。对于 Labvanced，该平台提供两种类型的数据集，实验者可以下载：正常数据 和 时间序列数据。
图 14. 数据视图显示，标准数据和时间序列数据可以在红框中下载。
正常数据
这是数据集的常规结构，将在列中显示每个变量，每行将表示每个试验。数据集将始终包括一个唯一的参与者 ID，以识别每个受访者，并在研究中需要时进行标识。在此数据集中需要注意的一件事是标定误差（图 15 中的 Calib error）表示在主标定期间获得的一般眼动追踪数据。因此，整个数据集中该值将保持一致。对于错误试验列，它将显示一些在试验期间变化的连续值。理想上，此列在试验中的减少表示测量的错误方差减少，这对所获得测量的整体置信度是一个良好的指示。
图 15. 不完整的正常数据视图显示，其中一些列指示关键变量：试验编号、标定误差、选择的图像和错误试验。
时间序列数据
这是数据集的更长描述，表示通过网络摄像头处理的每个试验中的多个测量（以及需要时的鼠标跟踪）。因此，此数据集将指示同一试验的多个行，最后四列（见下图 16）指示我们在之前的事件变量设置部分提到的 [X, Y, T, C] 数组数据。这四列的指示如下：
- X = 注视在框架坐标单位中的 X 位置
- Y = 注视在框架坐标单位中的 Y 位置
- T = 注视发生的精确时间戳（UNIX 时间）
- C = 对应注视数据的置信度
图 16. 不完整的时间序列数据视图显示，最后四列为：x 坐标、y 坐标、UNIX 时间和置信度分数。
对于 X 和 Y 坐标，这些原始注视测量数据可以与主研究框架进行评估，以推断参与者在此事件期间的注视位置。在主画布中，标准框架设定为 800x450 框架坐标单位（见下图 17）。因此，通过单击对象，实验者可以推导出其在屏幕上的相对 X 和 Y 位置，以推测参与者的注视是否落在刺激上 - 允许计算感兴趣区域 (AOI)。
对于最后的置信度数据，这指示使用网络摄像头检测眼睛的效果，考虑到虹膜/瞳孔检测和眨眼检测。这些值将在 0 到 1 的范围内变化，接近 1 的分数表示测量的稳健性良好。较低且接近 0 的值被视为较低的信心或可靠数据，因为这可能表明在特定头部运动期间的视网膜模糊或在此测量期间的眨眼检测。
图 17. 显示画布页面。底部的第一个红框显示标准的 800 x 450 框架坐标测量。右侧的第二个红框显示第一个猫图像的 x 和 y 坐标位置，这可以用作分析的感兴趣区域 (AOI)。
最后要注意的是，Labvanced 的采样率不能超过每秒 30 帧。我们旨在将来改进这一点，但重要的是要注意，当前大多数网络摄像头具有每秒 30 帧的阈值。最后，在我们的 Github 代码库 中，我们目前有多个脚本，可以用于 WebSocket 和数据分析。我们希望将来提供更多脚本，并且我们目前正在开发一个新的算法来计算注视检测，这对眼动基础实验研究将非常有用。