labvanced logoLabVanced
  • Research
    • Publications
    • Researcher Interviews
    • Use Cases
      • Developmental Psychology
      • Linguistics
      • Clinical & Digital Health
      • Educational Psychology
      • Cognitive & Neuro
      • Social & Personality
      • Arts Research
      • Sports & Movement
      • Marketing & Consumer Behavior
      • Economics
      • HCI / UX
      • Commercial / Industry Use
    • Labvanced Blog
    • Services
  • Technology
    • Feature Overview
    • Code-Free Study Building
    • Eye Tracking
    • Mouse Tracking
    • Generative AI Integration
    • Multi User Studies
    • More ...
      • Reaction Time/Precise Timing
      • Text Transcription
      • Heart Rate Detection (rPPG)
      • Emotion Detection
      • Questionnaires/Surveys
      • Experimental Control
      • Data Privacy & Security
      • Desktop App
      • Mobile App
  • Learn
    • Guide
    • Videos
    • Walkthroughs
    • FAQ
    • Release Notes
    • Documents
    • Classroom
  • Experiments
    • Cognitive Tests
    • Sample Studies
    • Public Experiment Library
  • Pricing
    • Licenses
    • Top-Up Recordings
    • Subject Recruitment
    • Study Building
    • Dedicated Support
    • Checkout
  • About
    • About Us
    • Contact
    • Downloads
    • Careers
    • Impressum
    • Disclaimer
    • Privacy & Security
    • Terms & Conditions
    • Third-Party Licenses
  • Appgo to app icon
  • Logingo to app icon
Technology
功能概述 - 所有
试验构建器
眼动追踪
鼠标追踪
生成性人工智能集成
多用户研究
  • 中國人
  • Deutsch
  • Français
  • Español
  • English
  • 日本語
功能概述 - 所有
试验构建器
眼动追踪
鼠标追踪
生成性人工智能集成
多用户研究
  • 中國人
  • Deutsch
  • Français
  • Español
  • English
  • 日本語
Labvanced生理工具箱的插图,显示参与者的网络摄像头视频分支成三个同步数据通道:注视追踪、面部情绪检测和心率检测。

远程生理测量

Labvanced通过捕获来自单个参与者网络摄像头的三种生理信号——眼动追踪、情绪检测和心率检测(rPPG)——来实现远程生理监测。研究人员可以在一项研究中结合注视、面部表情和心血管数据,而无需购买EEG系统、GSR传感器或专用硬件眼动仪。

目录

  • 概述
  • 工作原理
  • 为何不需要硬件
  • 方法论基础
  • 收集的数据
  • 研究应用

概述 | 远程生理测量是什么?

生理测量是使用身体信号、注视行为、面部表情、心血管活动来索引心理和认知状态。传统上,每种信号需要专用硬件:眼动仪、面部编码设备、脉搏血氧仪或ECG电极,每种都有自己的校准程序、数据流和同步问题。

Labvanced的生理工具箱将这些硬件堆栈整合为一个生物传感输入:参与者自己的网络摄像头。

三种信号,一个网络摄像头:工作原理

所有三种信号都通过同一设备上的管道进行处理,该管道读取参与者的网络摄像头视频,因此启用不止一个信号并不意味着打开多个摄像头视频或要求参与者重复授予权限。每个检测器独立运行,注视估计和注视检测、面部表情分类以及基于rPPG的心率估计,并在共享的时间对齐数据网格上报告输出,以便研究人员可以将注视变化、面部情感的变化和心率波动与相同的试验时间戳对齐。

选择运行哪些信号完全取决于研究人员。例如,仅需要注视和面部情感的研究,可以启用眼动追踪和情绪检测,而关闭心率检测,而不需要同时打开三者。


信号测量内容准确性
眼动追踪注视位置、注视点、兴趣区域(AOIs)1.3视觉度的准确性;与EyeLink 1000的Pearson r > 0.9,独立验证 (Kaduk et al., 2024)
情绪检测类别情绪标签、效价、唤醒度不同情绪的平均准确率超过90%,各个情绪之间有差异(Labvanced自己的专有算法;独立验证研究尚未完成)
心率检测(rPPG)每分钟心跳(BPM)、置信区间预计在实际心率的1%到3%范围内(Labvanced自己的专有算法;独立验证研究尚未完成)

每个检测器在研究的生理设置中都是一个单独的功能开关。所有三者都在参与者自己的设备上处理视频。没有原始视频到达Labvanced的服务器;仅传输数值输出(注视坐标、情绪标签、BPM值),这使得每个组合都符合GDPR的设计要求。

为何研究人员不需要拥有设备

通过专用硬件运行这种多模态研究通常需要眼动仪、面部编码系统或经过培训的人类编码员,以及单独购买、校准和同步的脉搏血氧仪或ECG设备,然后才能安排第一个参与者。这样的成本和复杂性是多模态生理研究一直局限于资金充足的实验室的重要原因。

Labvanced完全消除了设备要求。因为注视、面部情感和心率都来自同一个网络摄像头的视频,参与者只需要他们笔记本电脑或手机中已内置的摄像头,无论是在实验室还是完全远程。这也是为何这三种信号被视为一种协调能力,而不是三个无关的特征:组合在一起,它们使研究人员能够在一次会话中测量注意力(注视)、情感反应(情绪)和生理唤醒(心率),这一组合否则需要组合和同步三种独立的硬件。

单个Labvanced网络摄像头录制同时生成三种生理测量:眼动追踪、情绪检测和rPPG心率单个Labvanced网络摄像头录制同时生成三种生理测量:眼动追踪、情绪检测和rPPG心率

方法论基础

网络摄像头眼动追踪已独立验证与硬件的匹配:一项经过同行评审的与EyeLink 1000的比较发现1.3视觉度的准确性和超过0.9的Pearson相关性 (Kaduk et al., 2024)。

情绪检测和心率检测(rPPG)是Labvanced自己专有的算法,基于各个领域的已发布研究。独立验证研究仍在进行中,Labvanced正在寻找有意进行该工作的研究实验室。

收集的数据

结合眼动追踪和情绪检测与远程生理测量意味着每项研究都导出一份完整的、结构化的同时生理数据收集记录,而不仅仅是原始视频。

  • 眼动追踪: 注视位置(X,Y)、注视次数、注视持续时间、首次注视时间、AOI级别指标、时间戳、置信区间
  • 情绪检测: 八个类别情绪标签(愤怒、蔑视、厌恶、恐惧、快乐、中立、悲伤、惊讶)、连续效价和唤醒度得分、时间戳、置信得分
  • 心率检测(rPPG): 每分钟心跳(BPM)、时间戳、置信区间

所有三条数据流都与相同的试验时钟时间戳对齐,并可以与行为和问卷数据一起导出为单个CSV、XLSX或TSV文件。

一个人正在参与使用Labvanced创建的网络摄像头眼动追踪任务

网络摄像头眼动追踪

通过内置的、无代码且经过同行评审的网络摄像头眼动追踪捕捉注视模式和视觉注意力。

一个人的脸上带有面部表情分析覆盖层,用于Labvanced的网络摄像头情感检测

情感检测

将面部表情分类为不同的情感,并提供连续的情感价和唤醒评分。

一个心率波形,代表Labvanced中的远程rPPG心率检测

心率检测 (rPPG)

通过远程光电容积图法估算参与者的每分钟心跳次数。

与行为数据结合

生理信号与Labvanced记录的其他所有实验时间线一致,因此研究很少仅限于眼动追踪、情感检测和心率。这些行为测量在同一会话中进行,并在同一共享时间戳网格上导出,记录参与者所做的事情以及其身体在同一时刻的反应:

  • **鼠标追踪:**连续的光标移动,适用于关于决策过程、犹豫或界面交互的研究。请参见 鼠标追踪。
  • **反应时间:**每次试验的毫秒级响应延迟。请参见 精准计时 / 反应计时。
  • **任务响应:**参与者的实际答案、选择和评分。

研究应用

生理信号的结合开启了单一测量无法单独回答的研究问题:

  • **情感与注意力处理:**将参与者所注视的内容(注视)与他们对此的感受(情感)及他们的唤醒程度(心率)在同一时刻联系起来。
  • **认知负荷与压力研究:**在高强度任务期间,跟踪心率与注视和面部情感,且不需佩戴传感器。
  • **市场营销与用户体验研究:**在一次远程会议中测量对界面、广告或产品图像的视觉注意力、情感反应和生理唤醒。
  • **人机交互:**捕捉当参与者与AI系统或代理交互时注视、情感和唤醒的变化。
  • **远程和大规模多模态研究:**在分布式参与者样本中运行生理协议,而在依赖硬件的方法中将是物流上不可能的。

当硬件是正确选择时

基于网络摄像头的测量并不是在所有情况下替代临床仪器的解决方案:EEG、GSR和ECG级别的心脏数据都需要物理传感器,而在需要亚度精度或高采样率的情况下,硬件眼动仪仍然优于基于网络摄像头的注视估算。

用于连接EEG、GSR及其他硬件设备的Labvanced桌面应用程序

桌面应用程序

使用桌面应用程序在实验室内运行研究,该应用程序通过Lab Streaming Layer (LSL)协议连接EEG、GSR和其他硬件设备。

对于真正需要该仪器的研究,Labvanced的 桌面应用程序 通过Lab Streaming Layer (LSL)协议连接到EEG、GSR和其他硬件设备,因此外部硬件录音可以与用于上述网络摄像头信号的相同实验时间线同步。正确的选择取决于研究问题:基于网络摄像头的生理测量适用于远程、大规模和分布式样本;而在原始神经或电皮肤信号是研究对象的情况下,硬件仍然是标准。

常见问题


眼动追踪、情感检测和心率检测可以在同一研究中运行吗?
可以。每个信号都是研究生理设置中的独立功能开关,任何组合都可以在同一任务中启用。它们从同一网络摄像头画面读取数据,并报告在一个共享的、时间对齐的数据网格上。

我需要特殊硬件来收集Labvanced中的生理数据吗?
不需要。眼动追踪、情感检测和心率检测(rPPG)都使用参与者现有的网络摄像头运行,无论他们是在实验室内参与还是完全远程。这三个信号都不需要EEG耳罩、GSR传感器、可穿戴设备或专用眼动追踪硬件。

基于网络摄像头的生理测量准确吗?
基于网络摄像头的眼动追踪在同行评审的研究中独立验证了1.3视觉度的准确性,对EyeLink 1000硬件系统的Pearson相关性大于0.9 (Kaduk et al., 2024)。情感检测和心率检测(rPPG)是Labvanced自己的专有算法,建立在已发表文献中的方法上:情感检测在各种情感中平均超过90%的准确率,个别情感之间存在差异,而心率检测预计在实际心率的1%到3%范围内。两者的独立验证研究仍然有待进行,Labvanced正在寻找研究伙伴进行这些研究。

基于网络摄像头的生理数据收集符合GDPR吗?
是的。这三种信号都在客户端处理,直接在参与者的设备上。未传输或存储原始视频到Labvanced的服务器上,只有结果的数值数据(注视坐标、情感标签、心率值)。

在您的下一个研究中使用远程生理测量

在单次远程或实验室会话中结合注视、面部情感和心率数据,无需为每个信号组装单独的硬件。

  • 在同一任务中启用眼动追踪、情感检测和心率检测的任意组合
  • 使用相同设置进行完全远程、实验室内或混合研究
  • 导出所有三种信号与一个实验时间线对齐,同时包含行为和问卷数据
注册