Remote Physiological Measurement

Labvanced ermöglicht die Fernphysiologische Überwachung durch die gleichzeitige Erfassung dreier physiologischer Signale: Augenverfolgung, Emotionserkennung und Herzfrequenzmessung (rPPG) von einer einzelnen Teilnehmer-Webcam. Forscher können Blick, Gesichtsausdruck und kardiovaskuläre Daten in einer Studie kombinieren, ohne ein EEG-System, GSR-Sensoren oder einen speziellen hardwaremäßigen Augenverfolger erwerben zu müssen.

Überblick | Was ist Remote Physiologische Messung?

Die physiologische Messung nutzt Körpersignale, Blickverhalten, Gesichtsausdruck und kardiovaskuläre Aktivität, um psychologische und kognitive Zustände zu indexieren. Traditionell erforderte jedes Signal seine eigene spezialisierte Hardware: einen Augenverfolger, ein Gesichtscodierungssystem, ein Puls-Oximeter oder ECG-Elektroden, jeweils mit eigenem Kalibrierungsverfahren, eigenem Datenstrom und eigenen Synchronisationsproblemen bei der Kombination.

Das Physiology Toolbox von Labvanced fasst diese Hardware-Stack in einem einzigen Biosensing-Eingang zusammen: die eigene Webcam des Teilnehmers, gesteuert durch eine einzige Physiology Toolbox Version Einstellung, die alle drei Signale gleichzeitig steuert.

Drei Signale, Eine Webcam: Wie es funktioniert

Alle drei Signale werden durch dasselbe On-Device-Pipeline verarbeitet, das den Webcam-Feed des Teilnehmers liest. Das Aktivieren von mehr als einem Signal bedeutet daher nicht, dass mehr als ein Kamerastream geöffnet oder der Teilnehmer zweimal um Erlaubnis gebeten werden muss. Jeder Detektor läuft unabhängig: Schätzung des Blicks und Fixationsdetektion, Klassifizierung von Gesichtsausdrücken und rPPG-basierte Herzfrequenzschätzung und gibt seinen Output auf einem gemeinsam genutzten, zeitlich abgestimmten Datengitter aus, so dass ein Forscher einen Blickwechsel, eine Änderung im Gesichtsausdruck und eine Herzfrequenzfluktuation gegen denselben Versuchszeitstempel anordnen kann.

Die Wahl, welche Signale aktiviert werden sollen, liegt ganz beim Forscher. Eine Studie, die nur Blick und Gesichtsausdruck benötigt, kann beispielsweise die Augenverfolgung und Emotionserkennung aktivieren und die Herzfrequenzmessung deaktivieren, ohne dass die Notwendigkeit besteht, alle drei gleichzeitig zu aktivieren.

Jeder Detektor ist ein separates Feature-Toggle in den Physiologie-Einstellungen der Studie. Alle drei verarbeiten Videos auf dem Gerät des Teilnehmers. Kein Rohvideo erreicht jemals die Server von Labvanced; nur die numerischen Outputs (Blickkoordinaten, Emotionenlabel, BPM-Werte) werden übertragen, was jede Kombination nach DSGVO-konform gestaltet.

Warum Forscher die Ausrüstung nicht besitzen müssen

Eine multimodale Studie dieser Art über spezialisierte Hardware durchzuführen, erfordert in der Regel einen Augenverfolger, ein Gesichtscodierungssystem oder einen geschulten menschlichen Kodierer und ein Puls-Oximeter oder ECG-Setup, das separat gekauft, kalibriert und synchronisiert werden muss, bevor der erste Teilnehmer eingeplant wird. Diese Kosten und Komplexität sind ein wesentlicher Grund dafür, dass multimodale physiologische Forschung auf gut finanzierte Labore beschränkt geblieben ist.

Labvanced entfernt die Anforderung an die Ausrüstung vollständig. Da Blick, Gesichtsausdruck und Herzfrequenz alle aus demselben Webcam-Feed stammen, benötigt ein Teilnehmer nichts über die bereits in sein Laptop oder Telefon eingebaute Kamera, im Labor oder vollständig remote. Dies ist auch der Grund, warum die drei Signale als koordinierte Fähigkeit betrachtet werden, statt als drei unabhängige Merkmale: Gemeinsam ermöglichen sie es einem Forscher, Aufmerksamkeit (Blick), affektive Reaktion (Emotion) und physiologische Erregung (Herzfrequenz) in einer Sitzung zu messen, eine Kombination, die ansonsten das Zusammenbauen und Synchronisieren dreier separater Hardwareteile erfordern würde.

Methodologische Grundlage

Die Webcam-Augenverfolgung wurde unabhängig gegen Hardware validiert: Ein begutachteter Vergleich mit dem EyeLink 1000 ergab 1,3 visuelle Grad Genauigkeit und eine Pearson-Korrelation von über 0,9 in einer kontrollierten Laborumgebung (Kaduk et al., 2024). Mit Eye Tracking 2.0 wird diese Genauigkeit nun von realen Online-Teilnehmern auf ihren eigenen Geräten erreicht, die zwischen 1,4 und 1,8 Grad variieren, abhängig von den Konfigurationseinstellungen.

Die Emotionserkennung und Herzfrequenzmessung (rPPG) sind eigene proprietäre Algorithmen von Labvanced, die auf veröffentlichten Forschungen in jedem Bereich basieren. Unabhängige Validierungsstudien stehen noch aus, und Labvanced sucht nach Forschungslabors, die daran interessiert sind, diese Arbeiten durchzuführen.

Gesammelte Daten

Die Kombination aus Augenverfolgung und Emotionserkennung mit der Fernphysiologischen Messung bedeutet, dass jede Studie einen vollständigen, strukturierten Datensatz über die gleichzeitige physiologische Datenerhebung exportiert, nicht nur das Rohvideo.

• Augenverfolgung: Blickposition (X, Y), Fixationsanzahl, Fixationsdauer, Zeit bis zur ersten Fixation, AOI-Level-Metriken, Zeitstempel, Konfidenzintervall
• Emotionserkennung: acht kategoriale Emotionen (wütend, Verachtung, Ekel, Angst, glücklich, neutral, traurig, Überraschung), kontinuierliche Valenz- und Erregungspunkte, Zeitstempel, Konfidenzpunktzahl
• Herzfrequenzmessung (rPPG): Schläge pro Minute (BPM), Zeitstempel, Konfidenzintervall

Alle drei Datenströme sind zeitgestempelt und gegen denselben Versuchsumlauf getimed und gemeinsam exportierbar mit Verhaltens- und Fragebogendaten in einer einzelnen CSV-, XLSX- oder TSV-Datei.

Webcam-Augenverfolgung

Erfassen Sie Blickmuster und visuelle Aufmerksamkeit mit integrierter, codefreier und begutachteter Webcam-Augenverfolgung.

Emotionserkennung

Kategorisieren Sie Gesichtsausdrücke in emotionale Kategorien mit kontinuierlichen Valenz- und Erregungswerten.

Herzfrequenzmessung (rPPG)

Schätzen Sie die Schläge pro Minute aus dem Webcam-Feed des Teilnehmers mit Hilfe von Fern-Photoplethysmographie.

Kombination mit Verhaltensdaten

Physiologische Signale liegen auf dem gleichen Experimentzeitplan wie alles andere, was Labvanced aufzeichnet, sodass eine Studie selten auf Augenverfolgung, Emotionserkennung und Herzfrequenz allein beschränkt ist. Diese Verhaltensmaße laufen in derselben Sitzung und werden im gleichen gemeinsamen Zeitstempelraster exportiert, was zeigt, was ein Teilnehmer tat, während sein Körper im selben Moment tat:

• Mausverfolgung: kontinuierliche Cursorbewegung, nützlich für Forschungen zu Entscheidungsprozessen, Zögern oder Benutzerinteraktion. Siehe Mausverfolgung.
• Reaktionszeit: Millisekunden-Genauigkeit der Reaktionslatenz für jeden Versuch. Siehe Präzise Zeitmessung / Reaktionszeitmessung.
• Aufgabenreaktionen: die tatsächlichen Antworten, Entscheidungen und Bewertungen des Teilnehmers

Forschungsanwendungen

Die Kombination physiologischer Signale eröffnet Forschungsfragen, die kein einzelnes Maß allein beantworten kann:

• Affektive und aufmerksame Verarbeitung: Bezugnahme auf das, was ein Teilnehmer angeschaut hat (Blick), wie er sich dabei gefühlt hat (Emotion) und wie er erregt war (Herzfrequenz) im selben Moment
• Forschung zu kognitiver Belastung und Stress: Verfolgung der Herzfrequenz neben Blickverhalten und Gesichtsausdruck während anspruchsvoller Aufgaben, ohne tragbare Sensoren
• Marketing- und UX-Forschung: Messung visueller Aufmerksamkeit, emotionaler Reaktion und physiologischer Erregung auf eine Benutzeroberfläche, Werbung oder Produktbild in einer einzigen Fernsitzung
• Mensch-AI-Interaktion: Erfassen, wie sich Blick, Affekt und Erregung ändern, während ein Teilnehmer mit einem KI-System oder -Agenten interagiert
• Fern- und großangelegte multimodale Studien: Durchführung physiologischer Protokolle mit verteilten Teilnehmerstichproben, die logistisch mit hardwareabhängigen Methoden unmöglich wären

Wenn Hardware die richtige Wahl ist

Die webcam-basierte Messung ist nicht überall ein Ersatz für klinische Instrumentierung: EEG, GSR und ECG-Grad-Herzdaten erfordern alle physische Sensoren, und Hardware-Augenverfolger bieten immer noch eine genauere Schätzung des Blicks, wenn ein Paradigma Untergradgenauigkeit oder hohe Abtastraten benötigt.

Desktop-App

Führen Sie Laborexperimente mit der Desktop-App durch, die über das Lab Streaming Layer (LSL)-Protokoll mit EEG, GSR und anderen Hardwaregeräten verbunden ist.

Für Forschungsprojekte, die diese Instrumentierung wirklich erfordern, verbindet sich Labvanced's Desktop-App über das Lab Streaming Layer (LSL)-Protokoll mit EEG, GSR und anderen Hardwaregeräten, sodass externe Hardwareaufzeichnungen mit demselben Experimentzeitplan synchronisiert werden können, der für die webcam-basierten Signale oben verwendet wird. Die richtige Wahl hängt von der Forschungsfrage ab: webcam-basierte physiologische Messungen skalieren für remote, große und verteilte Stichproben; Hardware bleibt der Standard, wo rohe neuronale oder elektrodermale Signale das Forschungsobjekt selbst sind.

Häufige Fragen

Verwenden Sie Remote-physiologische Messungen in Ihrer nächsten Studie

Kombinieren Sie Blick-, Gesichtsausdruck- und Herzfrequenzdaten in einer einzigen Fern- oder Laborsitzung, ohne separate Hardware für jedes Signal zusammenzustellen.

• Aktivieren Sie jede Kombination von Augenverfolgung, Emotionserkennung und Herzfrequenzmessung in derselben Aufgabe
• Führen Sie vollständig remote, im Labor oder hybride Studien mit der gleichen Einrichtung durch
• Exportieren Sie alle drei Signale, die an einem Experimentzeitplan ausgerichtet sind, zusammen mit Verhaltens- und Umfragedaten