
远程生理测量
Labvanced通过从单个参与者的网络摄像头同时捕获三种生理信号——眼动追踪、情绪检测和心率检测(rPPG)——来实现远程生理监测。研究人员可以在一项研究中结合注视、面部表情和心血管数据,而无需购买EEG系统、GSR传感器或专用的硬件眼动追踪器。
概述 | 什么是远程生理测量?
生理测量是利用身体信号、注视行为、面部表情、心血管活动,来指示心理和认知状态。传统上,每种信号都需要其专用硬件:眼动追踪器、面部编码设备、脉搏血氧仪或ECG电极,每种设备都有自己的校准程序、数据流,以及合并时各自的同步问题。
Labvanced的生理工具箱将这些硬件叠加集成成一个单一的生物传感输入:参与者自己的网络摄像头,通过一个控制所有三个信号的生理工具箱版本设置。
三种信号,一个网络摄像头:工作原理
所有三种信号都通过同一设备上的管道进行处理,该管道读取参与者的网络摄像头馈送,因此启用多个信号并不意味着要打开多个摄像头流或要求参与者授予权限两次。每个检测器独立运行,进行注视估计和注视检测、面部表情分类,以及基于rPPG的心率估计,并在一个共享、时间对齐的数据网格上报告其输出,以便研究人员可以将注视转移、面部情感变化和心率波动与相同的试验时间戳对齐。
选择运行哪些信号完全取决于研究人员。例如,仅需要注视和面部情感的研究可以启用眼动追踪和情绪检测,而不启用心率检测,无需同时打开所有三个信号。
| 信号 | 测量内容 | 准确度 |
|---|---|---|
| 眼动追踪 | 注视位置、注视次数、关注区域(AOIs) | 对于使用眼动追踪2.0的真实在线参与者,准确度为1.4到1.8视角度(根据配置设置);在受控实验室验证中,1.3视角度和Pearson r > 0.9与EyeLink 1000相比 (Kaduk et al., 2024) |
| 情绪检测 | 类别情绪标签、价度、激励 | 所有情绪的平均准确度超过90%,不同情绪之间有差异(Labvanced自己专有算法;独立验证研究尚未完成) |
| 心率检测(rPPG) | 每分钟心跳数(BPM)、置信区间 | 预计与实际心率相差在1%到3%之间(Labvanced自己专有算法;独立验证研究尚未完成) |
每个检测器都是研究生理设置中的一个独立功能开关。所有三个检测器都在参与者自己的设备上处理视频。任何原始视频都不会传输到Labvanced的服务器;只会传输数值输出(注视坐标、情绪标签、BPM值),这确保了每种组合的GDPR合规设计。
为什么研究人员不需要拥有硬件
通过专门硬件运行这种多模态研究通常需要一个眼动追踪器、一个面部编码系统或一名训练好的人工编码者,以及一个脉搏血氧仪或ECG设备,这些设备需要分别购买、校准和同步,然后才能安排第一个参与者。这种成本和复杂性是多模态生理研究一直局限于资金充足实验室的重要原因之一。
Labvanced完全消除了设备的需求。由于注视、面部情感和心率都来自相同的网络摄像头馈送,参与者只需拥有其笔记本电脑或手机中已内置的摄像头,无论是在实验室还是完全远程。这也是为什么这三种信号被视为协调能力而不是三个不相关特征的原因:结合起来,它们使研究人员能够在一次会话中测量注意力(注视)、情感反应(情绪)和生理唤醒(心率),这组合原本需要组装和同步三台独立硬件。


方法论基础
网络摄像头眼动追踪已在硬件上进行独立验证:一项同行评审的与EyeLink 1000的比较发现,在受控实验室环境中,准确度为1.3视角度,Pearson相关系数超过0.9 (Kaduk et al., 2024)。借助眼动追踪2.0,这种准确度如今由真实在线参与者在他们自己的设备上实现,准确度范围在1.4到1.8度之间,具体取决于配置设置。
情绪检测和心率检测(rPPG)是Labvanced自己专有的算法,基于每个领域的已发布研究。独立验证研究仍待完成,Labvanced正在寻找有兴趣开展该工作的研究实验室。
收集的数据
将眼动追踪和情绪检测与远程生理测量相结合,意味着每项研究导出完整的、结构化的同时生理数据收集记录,而不仅仅是原始视频。
- 眼动追踪: 注视位置(X,Y)、注视次数、注视持续时间、首次注视时间、关注区域级别的指标、时间戳、置信区间
- 情绪检测: 八个类别情绪标签(愤怒、轻蔑、厌恶、恐惧、高兴、中立、悲伤、惊讶)、连续价度和激励分数、时间戳、置信分数
- 心率检测(rPPG): 每分钟心跳数(BPM)、时间戳、置信区间
所有三个数据流都与相同的试验时钟进行时间戳标记,并可与行为和问卷数据一起导出到单个CSV、XLSX或TSV文件中。
网络摄像头眼动追踪
通过内置、无代码和经过同行评审的网络摄像头眼动追踪捕捉注视模式和视觉注意力。
情感检测
将面部表情分类为情感类别,并提供连续的情感价值和唤醒分数。
心率检测 (rPPG)
通过参与者的网络摄像头 feed 估计每分钟的心跳次数,使用远程光学容积脉搏波图法。
与行为数据结合
生理信号与Labvanced记录的所有其他实验时间线处于同一时间线上,因此研究通常不仅限于眼动追踪、情感检测和心率。这些行为测量在同一次会话中运行,并在相同的共享时间戳网格上导出,将参与者的行为与他们身体的状态在同一时刻对齐:
- 鼠标追踪: 连续的光标运动,适用于决策过程、犹豫或界面交互的研究。请参见 鼠标追踪。
- 反应时间: 每个试验的毫秒级反应延迟。请参见 精准计时 / 反应计时。
- 任务响应: 参与者的实际答案、选择和评分
研究应用
结合生理信号提出了单一测量无法独自回答的研究问题:
- 情感和注意力处理: 将参与者注视的内容(注视)与他们对此的感受(情感)以及他们的唤醒水平(心率)在同一刻关联起来
- 认知负荷和压力研究: 在高需求任务期间跟踪心率,同时监测注视和面部情感,而无需可穿戴传感器
- 市场营销和用户体验研究: 在单次远程会话中测量对界面、广告或产品图像的视觉注意、情感反应和生理唤醒
- 人机交互: 捕捉参与者在与AI系统或代理交互时注视、情感和唤醒的变化
- 远程和大规模多模态研究: 进行生理协议与分布式参与者样本,使用依赖硬件的方法在物流上不可能完成的实验
当硬件是更合适的选择
基于网络摄像头的测量并不能在所有地方替代临床仪器:EEG、GSR和ECG级心脏数据都需要物理传感器,而当一个范式需要亚度精度或高采样率时,硬件眼动追踪仍然优于基于网络摄像头的注视估计。
对于确实需要该仪器的研究,Labvanced的 桌面应用 通过Lab Streaming Layer (LSL)协议连接到EEG、GSR和其他硬件设备,因此外部硬件记录可以与上述基于网络摄像头的信号使用的相同实验时间线同步。正确的选择取决于研究问题:基于网络摄像头的生理测量适用于远程、大规模和分布式样本;而在研究原始神经或电皮肤信号本身的情况下,硬件仍然是标准。
常见问题
眼动追踪、情感检测和心率检测能在同一次研究中进行吗?
我需要特殊硬件来收集Labvanced中的生理数据吗?
基于网络摄像头的生理测量准确吗?
基于网络摄像头的生理数据收集符合GDPR吗?
在您的下一个研究中使用远程生理测量
在单次远程或实验室会话中,结合注视、面部情感和心率数据,而无需为每个信号组装单独的硬件。
- 在同一任务中启用任何组合的眼动追踪、情感检测和心率检测
- 使用相同的设置进行完全远程、实验室内或混合研究
- 将所有三个信号导出到一个实验时间线上,与行为和问卷数据对齐