眼动追踪操作指南
欢迎来到 Labvanced 的首个操作指南,本指南将为你的下一个项目提供眼动追踪设置的指导。总体而言,这个信息内容将分为四个部分,从创建研究前的整体系统设置检查开始,最后到数据视图的解释。除了这份逐步指南之外,还有视频教程内容可供访问,以及其他所有帮助你创建在线实验的指南。话不多说,让我们深入了解眼动追踪研究的创建。
第一部分:系统设置
首先,必须选择 Labvanced V2 进行眼动追踪 测量(下图中的图 1),使用我们的深度学习算法。之后,有三个选项可以选择校准的时长。标准的默认选项是 5 分钟,但实验者也可以选择 <1 分钟,3 分钟或 8 分钟的校准。较长的时长会要求更多的头部位置校准,同时增加固定点,从而提供最优的测量精度。然而,考虑到研究类型和参与者的情况,较短的时长也可能是最优的,以减轻参与者的时间和疲劳,特别是当你的研究对象是婴儿时。
图 1. 在研究设置页面下的初始屏幕。实验者必须选择激活眼动追踪选项,以调整显示红框内的后续选择以使用眼动追踪。
谈到婴儿,还有额外的选项可以通过选择动物图像选项来优化年轻参与者的注视读数,供 校准图像类型 使用。动物校准显示可以与 婴儿友好模式 选择配对(见图 1)。选择此选项会自动调整较短的校准时间和伴随的声音(也可以关闭),以帮助婴儿的注意力并减少无聊。在同一部分,显示网格 选项可以帮助参与者预测校准的下一个点,以帮助进行最佳的校准过程。
在“显示网格”选项下方,还有一个选项可以检查 显示初始测试视频流 (见图 1)。参与者通过选择此选项,可以在主要校准之前在视频流中看到自己,以及面部网格覆盖。面部网格的重要性将在本指南后面的部分中进一步解释,但通常建议进行测试视频,以查看参与者的计算机是否能处理网络摄像头的眼动追踪测量。作为建议,理想情况下应使用具有独立 GPU 的计算机,以达到最佳的眼动追踪。如果参与者的硬件不够优化,则初始测试视频将保持静态,不会继续,充当参与者是否应该继续研究的初始检查。在这种情况下,参与者可以中止研究,帮助实验者减少更全面数据中的数据噪音。
此外,实验者还可以在同一设置显示中选择 头部姿态对齐 选项,该选项作为虚拟下巴支撑。此附加测量的目的是模拟实验室设置中使用的物理下巴支撑的功能,那里下巴被放置在头部支架上以保持头部静止。通过勾选头部位置对齐选项,Labvanced 将在校准阶段测量各种头部方向。该具体过程的更多信息将在后面的段落中提供。将头部位置纳入眼动测量将提高数据的质量,减少头部不对齐所带来的噪音。如果参与者的头部严重偏离中心姿势,程序会中断研究,并提示参与者重新对齐并聚焦于虚拟下巴支撑,帮助参与者集中注意力并在研究过程中维持类似的头部位置。更重要的是,控制头部位置还将有助于整体数据的质量。虽然强烈建议启用此选项,但实验过程中也有选项可以忽略。根据参与者的情况,特别是婴儿,在实验运行过程中持续保持头部位置可能会很困难,因此这个选项将允许参与者(或家长)关闭并跳过此过程。
最后但同样重要的是,还有一个选项可以 与 Labvanced 共享校准数据。 这主要是为了改善 Labvanced 眼动追踪的算法,以提供更好的用户界面,但这完全基于研究人员的自由裁量。在下一部分,我们将深入画布页面,以进行一些准备工作,然后再进行实验创建和数据记录。
第二部分:任务编辑器
除了使用研究设置页面为眼动追踪研究做准备外,还有其他需要注意的初步准备工作,以及创建新变量以存储注视数据的基本信息。
物理信号
通过单击画布屏幕左上角的物理信号按钮,您将看到带有不同眼动追踪选项的对话框(见图 2)。首先,你需要在任务编辑中启用眼动追踪,以允许在研究期间进行注视测量。当然,如果你仅仅观察行为测量(例如反应时间和准确性),还可以选择禁用。
图 2. 任务中的画布屏幕。红框表示物理信号选项,以在此任务中启用眼动追踪并确定每次试验验证的固定点数量。
重要的是,主要校准总是在第一次眼动追踪任务之前进行。例如,如果你在一次眼动追踪测量的区块序列中有四个任务,Labvanced 将在四个任务的第一项任务之前提示校准。这将使实验者能够在研究构建过程中相应地计划校准何时进行。
同一选项显示中的另一个选项是每个试验中的验证阶段显示的固定点数量(见图 3)。设置值为零将跳过验证过程。然而,增加固定点的数量将在试验间隙期间呈现更多的固定点,以验证眼动追踪测量。这对于眼动追踪算法很重要,以减少系统误差并计算漂移修正。例如,如果某些参与者更倾向于向左或向右偏移,则验证过程将用于抵消这种漂移,以改善误差。另一个有用的选项是通过单击用户每次试验漂移修正直接应用偏移。最后一个选项是用于漂移修正所使用的固定点数量,这是你想要计算的漂移修正点的数量。在修正期间,过去的试验将被纳入计算,以考虑参与者在主要校准中的错误。
图 3. 物理信号的显示。红框表示显示在物理信号中的选项,标准固定值为 3,漂移修正值为 6。
显示设定
另一个需要注意的任务编辑的重要事项是显示设置选项。对于一般的 Labvanced 任务,显示设置设置为 缩放/自适应 模式(见下图 4),以根据参与者的显示设置缩放显示框。但对于眼动追踪,您可以考虑固定选项,选择 视觉度 或 毫米 选项。这会非常有用,因为这将允许以视觉度的方式跟踪参与者的眼动,而不必依赖屏幕框架单位,这也需要额外的计算来量化空间距离。相同的好处也适用于毫米测量。至关重要的是,改变显示设置选项将改变我们的研究设置显示,我们将追溯回该显示。
图 4. 显示设置默认设置为缩放/自适应模式的显示
返回到研究设置,显示设置的更改将允许 屏幕尺寸和分辨率 的更多选项,以定义最小屏幕尺寸,可以使用视觉度或毫米(见下图 5)。然而,显示屏幕校准 选项将始终被选中(以灰色显示),这在屏幕上提供了一个模板,提示参与者将一个信用卡大小的物品拿到屏幕上,并调整模板以适应物理卡大小。这样的物理测量校准允许 Labvanced 算法推断显示尺寸,以适应不同监视器设置的变化。
图 5. 研究设置页面的显示。红框表示以视觉度、毫米或像素设置最小屏幕尺寸的选项。请注意,显示屏幕校准始终以灰色选中。
眼动追踪数据的事件和变量设置
要记录眼动追踪数据,可以通过创建一个新事件完成。如果实验者想通过特定图像测量眼动追踪,可以在 生理信号 下的 眼动追踪 触发器中进行设置(见下图 6)。这意味着每当网络摄像头处理图像或目标时,这将触发事件序列以执行特定操作。例如,假设你希望特定元素(例如固定十字)作为触发器。在这种情况下,可以选择 仅在注视特定元素时触发,并将目标设置为特定项(例如固定十字或图像)。如果不勾选此选项,眼动追踪将记录所有跟随记录操作的内容。
图 6. 显示事件设置以记录眼动追踪。触发类型下的复选框表示在注视特定元素时的触发选项,例如固定十字或图像。
要设置记录变量,使用典型的 设置/记录变量 操作,并在右侧跟随使用触发器(眼动追踪)以继续数据选项。理想情况下,建议选择 [X, Y, T, C] 数组(见下图 7),因为这将提供所有关键注视测量:
- X = X 帧坐标
- Y = Y 帧坐标
- T = UNIX 时间戳
- C = 眼睛检测的置信度,用于眨眼/错误检测
图 7. 显示事件设置以记录眼动追踪测量。
在设置/记录变量操作的左侧,将有一个变量(理想情况下是一个新变量)来存储眼动追踪数据。创建新变量时,必须将变量格式设置为 数据帧数组 - 因为 [X, Y, T, C] 是数组数据,并将数据类型设置为 数值(见下图 8)。最后,重要的是将记录类型更改为 所有变化/时间序列。 我们将在后面的部分讨论有关时间序列的更多信息,但通常,该选项允许每个试验记录多个值,而不仅仅是试验结束时的最终值。理想情况下,可以在试验中检查多个注视、时间和置信度评分,因此时间序列将为整体眼动追踪测量提供更多细节。
图 8. 显示新变量设置以存储眼动追踪测量。顶部红框指示格式设置为数组,数据类型设置为数值。除了这两个重要设置外,以下第二个红框还显示了在试验中查看多个注视测量所需的关键时间序列选项。
第三部分:研究创建
假设研究人员想要创建一个物体辨别任务(图 9A),使用鼠标点击进行 n 次试验,使用眼动追踪测量。这可以通过鼠标触发器和设置/记录操作进行设置(见图 9A 和 9B)。此后可以跟随跳转操作以移动到下一个试验。
图 9. 显示带有对象辨别设置的画布,其中包含两个图像显示(A)与使用鼠标触发器的事件设置(B)和设置以记录所选图像并后续跳转操作的动作(C)。
除了记录鼠标点击外,眼动追踪设置还需要两个更重要的变量记录,这对于注视测量非常重要。这些是 错误校准 和 错误试验,需要通过 帧开始 触发并继续 设置/记录 操作以存储新变量(见下图 10)。错误校准提供一个单一的数值,显示主要校准的精确度,而错误试验涉及到每个单独试验的精确度。稍后在数据视图部分的讨论将提供有关这两个读数的更多信息。
图 10. 显示错误校准和错误试验的事件创建。
重要的是要注意,在眼动追踪研究中,主要校准任务期间背景应保持一致。例如,在下图中,显示了白色背景与两个图片刺激。该背景应与 研究设置 页面(见图 11)中的 整体背景颜色 相同,这是 Labvanced 将用于主要校准的相同背景。如果主要校准与研究阶段之间的颜色不同,这可能导致数据中的潜在错误,从而导致实验混淆。
图 11. 显示研究设置页面。红框指示应与主要研究创建期间的画布页面保持一致的背景颜色。
在研究记录阶段,将会有初始短视频检查(见图 12)。如前所述,这时参与者将在研究开始前看到自己在蓝色面罩覆盖下的面部网格中。这里也是参与者评估视频是否无误的时刻;否则,这将表明硬件无法快速处理视频。如果是这种情况,研究人员会指导参与者中止研究,节省不必要的时间,并减少全面数据的流失。
图 12. 显示初步网络摄像头/视频处理检查与蓝色网状覆盖
如果参与者在视频检查阶段后继续进行,校准说明将显示默认屏幕说明。实验者可以更改说明;否则,通常建议将提示参与者:
- 在安静的房间内
- 有足够的时间
- 不戴眼镜 - 某些镜片的反射特性可能会影响读取
- 保持在屏幕中心位置
接下来,参与者需要将头部调整到不同的方向,使蓝色遮罩网和绿色“面具”相配合,作为虚拟下巴支撑(见图 13)。这将允许算法针对每个参与者在微小头部移动期间进行个体训练,以预测眼睛在研究阶段的位置。如前所述,虚拟下巴支撑的重要特性,参与者必须遵循的不同头部方向将具有与物理下巴支撑相同的功能,以减少头部的偏差。如果蓝色遮罩网和绿色面具之间存在显著的差异,程序将中断以指导参与者在各自试验后重新调整头部位置。此中断将在主要校准阶段和整个研究过程中发生;这种显著的头部不对齐将通过网络摄像头追踪检测到。作为快速提示,主要校准的持续时间将根据选择从 <1 分钟到 8 分钟不等,后者需要更多的头部位置定向,伴随额外的固定校准,以提供最佳的准确测量。最后,在整个研究试验中,将会有带有不同数量固定点的验证环节,以最小化误差变化,引导准确的置信度读取。
图 13. 显示带有绿色“虚拟下巴”面具的头部校准过程。第一张图片 (A) 显示初始中心姿势的确定。第二张图片 (B) 显示头部位置偏差以及程序的对话框,提示重新调整头部到绿色虚拟下巴支撑。
第四部分:数据视图
在参与者完成测试后,记录的眼动追踪数据可以通过单击数据视图和导出页面查看(见图 14)。对于 Labvanced,该平台提供两种类型的数据集,实验者可以下载:普通数据 和 时间序列数据。
图 14. 数据视图显示可以在红框中下载标准数据和时间序列数据。
普通数据
这是数据集的常规结构,将在列中显示每个变量,每行将代表每个试验。数据集将始终包括每个响应者的唯一参与者 ID 以及如有必要的研究标识。需要注意的是,在该数据集中,校准误差(下图 15 中的校准错误)表示在主要校准期间获得的一般眼动追踪数据。因此,该值将在整个数据集中保持一致。对于错误试验列,它将显示一些在试验间不断变化的值。理想情况下,该列在试验中持续下降则表明测量的误差方差正在减少,这是已获得测量的整体置信度的良好指示。
图 15. 不完整的普通数据视图显示,其中一些列指示关键变量:试验号、校准误差、所选图像和错误试验。
时间序列数据
这是数据集的较长表现,描绘每次试验中通过网络摄像头处理的多个测量(以及根据需要进行的鼠标跟踪)。因此,该数据集将为相同的试验指示多个行和 最后四列(见下图 16),指示我们在先前的事件变量设置中提到的 [X, Y, T, C] 数组数据。这四列分别表示:
- X = 注视在帧坐标单位中的 X 位置
- Y = 注视在帧坐标单位中的 Y 位置
- T = 注视发生时的精确时间戳(UNIX 时间)
- C = 对应注视数据的置信度
图 16. 不完整的时间序列数据视图显示,最后四列为:x 坐标、y 坐标、UNIX 时间和置信度评分。
对于 X 和 Y 坐标,这些原始注视测量数据可以与主要研究框架进行评估,从而推断参与者在此事件中查看的位置。在主要画布中,标准帧设置为 800x450 帧坐标单位(见下图 17)。因此,通过单击对象,实验者可以推断出其在屏幕上的相对 X 和 Y 位置,以推测参与者的注视是否落在刺激上 - 允许进行关注区域(AOI)计算。
对于最后的置信数据,这说明通过网络摄像头检测眼睛的效果如何,考虑到虹膜/瞳孔检测和眨眼检测。值将在 0 到 1 的区间内变化,其中接近 1 的得分表示测量的健壮性良好。值较低且接近 0 的情况被认为是置信度较低或可靠性较差的数据,因为这可能指示在特定头部运动或眨眼检测期间的视网膜模糊。
图 17. 显示画布页面。底部第一个红框显示标准帧测量为 800 x 450 帧坐标。右侧第二个红框显示第一张猫图像的 x 和 y 坐标位置,可以作为 AOI 进行分析。
最后需要注意的是,Labvanced 的采样率不能超过每秒 30 帧。我们希望在未来改进这一点,但重要的是要注意,大多数网络摄像头目前的阈值为每秒 30 帧。最后,在我们的 Github 仓库 中,我们目前有多个可以用于 WebSocket 和数据分析的脚本。我们希望在未来提供更多脚本,并且我们目前正在开发一种新的算法,用于计算固定点检测,这可能对基于视觉的实验研究非常有用。