labvanced logoLabVanced
  • Research
    • Publications
    • Researcher Interviews
    • Use Cases
      • Developmental Psychology
      • Linguistics
      • Clinical & Digital Health
      • Educational Psychology
      • Cognitive & Neuro
      • Social & Personality
      • Arts Research
      • Sports & Movement
      • Marketing & Consumer Behavior
      • Economics
      • HCI / UX
      • Commercial / Industry Use
    • Labvanced Blog
    • Services
  • Technology
    • Feature Overview
    • Code-Free Study Building
    • Eye Tracking
    • Mouse Tracking
    • Generative AI Integration
    • Multi User Studies
    • More ...
      • Reaction Time/Precise Timing
      • Text Transcription
      • Heart Rate Detection (rPPG)
      • Emotion Detection
      • Questionnaires/Surveys
      • Experimental Control
      • Data Privacy & Security
      • Desktop App
      • Mobile App
  • Learn
    • Guide
    • Videos
    • Walkthroughs
    • FAQ
    • Release Notes
    • Documents
    • Classroom
  • Experiments
    • Cognitive Tests
    • Sample Studies
    • Public Experiment Library
  • Pricing
    • Licenses
    • Top-Up Recordings
    • Subject Recruitment
    • Study Building
    • Dedicated Support
    • Checkout
  • About
    • About Us
    • Contact
    • Downloads
    • Careers
    • Impressum
    • Disclaimer
    • Privacy & Security
    • Terms & Conditions
    • Third-Party Licenses
  • Appgo to app icon
  • Logingo to app icon
Technology
功能概述 - 所有
研究构建器
眼动追踪
鼠标追踪
Web桥接
生成式人工智能集成
多用户研究
  • 中國人
  • Deutsch
  • Français
  • Español
  • English
  • 日本語
功能概述 - 所有
研究构建器
眼动追踪
鼠标追踪
Web桥接
生成式人工智能集成
多用户研究
  • 中國人
  • Deutsch
  • Français
  • Español
  • English
  • 日本語
Labvanced 中面部情感检测技术的插图,展示了基于网络摄像头的分析如何在实验任务中捕获情感表达。

情感检测 | 面部表情分析

Labvanced 支持使用参与者的网络摄像头进行自动化情感检测,使研究人员能够实时捕获面部表情并推断情感状态。这使得情感数据可以与行为、认知和自我报告测量一起收集,而无需专门的硬件或实验室设置。

情感检测可以无缝集成到在线实验中,使得可以远程和大规模地研究情感过程。

目录

  • 概述
  • Labvanced 中的情感检测
  • 收集的数据
  • 方法论基础
  • 方法论优势
  • 研究应用

概述 | 什么是情感检测?

情感检测是指使用计算机视觉和机器学习技术,从面部图像或视频流中识别人的情感表达。通过分析眼动、嘴形和面部肌肉激活等特征,算法可以将表情分类为快乐、悲伤、愤怒、惊讶、恐惧和中性等类别。

与依赖自我报告或手动编码(例如基于 FACS 的注释)的传统方法不同,自动化情感检测提供了情感反应的连续、客观和可扩展的测量。

这使得它在研究任务、刺激呈现或自然交互中的自发情感反应方面特别有价值。

Labvanced 中的情感检测:它是如何工作的

Labvanced 将面部情感检测直接集成到实验工作流程中。系统使用参与者的网络摄像头以规则的时间间隔捕获图像并处理这些图像,以估计情感表达。

Labvanced 中的情感检测

  • 作为研究配置的一部分轻松激活
  • 在任务、刺激呈现或定义的时间窗口内进行
  • 与生理工具箱版本 2.0 一起操作,默认采样率为 2 Hz(每秒两次检测),相较于第一代的 1 Hz 提高
  • 可以与调查、反应时间任务和实验操控相结合

参与者体验

  • 无需可穿戴设备或传感器
  • 使用参与者的网络摄像头
  • 客户端处理,即符合 GDPR 的要求
  • 适合在个人设备上远程参与

情感检测演示

一系列图像被呈现,参与者被要求模仿表情。报告参与者表情中检测到的最高情感,以及效价和激活值。


Labvanced 中收集的情感检测数据

使用 Labvanced 中的情感检测收集的一些关键指标:

  • 类别情感分类:共 8 个(愤怒、轻蔑、厌恶、恐惧、快乐、中性、悲伤、惊讶)
  • 连续情感分类:效价和激活分数
  • 与实验事件对齐的时间戳测量
  • 可与其他研究数据一起导出以进行分析

信息图显示在 Labvanced 中进行面部表情分析时收集的情感标签、置信分数和时间戳。

方法论基础

Labvanced 的情感检测基于最近在面部表情识别方面的进展,利用研究界开发的现代深度学习方法。这些方法使用在大规模和多样化图像数据集上训练的神经网络来学习面部表情与情感状态之间的关系模式。

特别是,该实现借鉴了当代研究,强调强大的特征提取和分类技术,使得在各种现实条件下能够可靠地解释面部表情。这些方法旨在处理照明、姿态和个体差异的变化,同时保持强大的性能。

这种基于研究的基础使得 Labvanced 能够反映计算机视觉的当前进展,同时保持轻便和高效,能够直接在浏览器中实时使用。

方法论优势 | 行为和认知研究中的情感检测

情感检测使得在实验任务中能够持续测量情感表达,提供的信息并不总是可以通过自我报告或单纯行为获取。

关键方法论优势:

  • 多模态整合: 将面部表情数据与行为、认知和自我报告测量结合

  • 非侵入性测量: 无需物理传感器,减少对任务表现和参与者体验的干扰

  • 远程数据收集: 使用标准网络摄像头在实验室外进行情感研究

  • 可扩展的研究设计: 支持在线实验环境中大规模和多样化的参与者样本

  • 时间解析的情感测量: 提供与实验事件对齐的时间戳情感标签和置信分数

研究应用 | 行为和认知研究中的情感检测

情感检测使得能够在广泛的实验范式下研究情感和认知过程,特别是在持续行为编码或面对面观察不可行的情况下。

关键应用包括:

  • 情感和情感处理: 评估对情感刺激、任务反馈或激发内容的面部表情反应

  • 认知-情感交互: 研究情感表达与注意、记忆和决策过程的关系

  • 社交互动研究: 分析在互动任务、虚拟沟通或观察范式中的面部表情

  • 用户体验和人机交互: 评估对界面、系统反馈或用户体验操控的情感反应

  • 远程和大规模研究: 使用标准网络摄像头捕捉分布参与者样本的情感反应

  • 多模态实验设计: 将面部表情数据与行为、认知和自我报告测量结合

进一步阅读

一个人正在查看用 Labvanced 创建的网络摄像头眼动追踪任务

网络摄像头眼动追踪

捕捉注视模式和视觉注意力,提供无代码且经过同伴评审的网络摄像头眼动追踪。

代表 Labvanced 中远程 rPPG 心率检测的心率波形

心率检测 (rPPG)

使用远程光电容积描记法估计参与者网络摄像头图像中的每分钟心跳次数。

一个网络摄像头录音一同时产生三种生理测量的图像

远程生理测量

通过一个网络摄像头图像同时运行眼动追踪、情感检测和心率检测。

在下一次研究中使用情感检测

情感检测将 Labvanced 的能力扩展到情感计算,使研究人员能够持续且远程地测量情感反应。

  • 将情感数据与认知任务和调查结合
  • 远程大规模运行研究
  • 捕捉对刺激的自发情感反应

探索 Labvanced 中的情感检测,或联系我们讨论您研究的情感测量选项。

注册