Labvanced und der Geist der offenen Wissenschaft

Da Labvanced ein abonnementbasierter Dienst ist, mag es für viele Menschen so erscheinen, als sei es nicht im Einklang mit der offenen Wissenschaft. Doch das ist bei weitem nicht der Fall. Labvanced, durch die Art und Weise, wie es eingerichtet ist und wie es Forschern ermöglicht, ihre Experimente zu erstellen und zu veröffentlichen, umarmt nicht nur den Geist der offenen Wissenschaft, sondern fördert auch die besten Praktiken zur Durchführung von Online-Experimentalforschung.

Öffentliche Experimentbibliothek und offene Wissenschaft

Labvanced hat mehrere Möglichkeiten für Forscher, die daran interessiert sind, ihre Online-Studien so frei zugänglich und teilbar wie möglich zu machen, wobei eine solche die Öffentliche Experimentbibliothek ist. Über die Öffentliche Experimentbibliothek können Forscher ihr Experiment veröffentlichen, sodass jeder, der teilnehmen möchte, dies tun kann. Bei der Veröffentlichung des Experiments kann der Forscher festlegen, in welchem Umfang die Studie als Vorlage verwendet werden kann (d.h. von anderen abonnierten Nutzern importiert werden kann) und wie ‘Open Access’ für Nicht-Labvanced-Nutzer aussieht – wie etwa, ob nur das Design / die Experimenteinrichtung eingesehen werden kann oder ob die gesammelten Daten ebenfalls öffentlich zugänglich sind.

Die Öffentliche Experimentbibliothek ist eine der größten offenen Wissenschafts- / offenen Experimentbibliotheken und wächst ständig mit über 600 Studien von externen Institutionen weltweit. Dies ermöglicht es Gutachtern, die Implementierung ‘zu inspizieren’ (auch ohne ein Konto) und die gesammelten Daten zu sehen (sofern Sie diese Option ausgewählt haben, um sie öffentlich verfügbar / offen zu machen). Wir haben viele Forscher gesehen, die für diesen Zweck den Labvanced-Link in ihren Publikationen in einschlägigen Fachzeitschriften angeben.

Beachten Sie auch, dass Forscher eine Studie in der Öffentlichen Experimentbibliothek kostenlos veröffentlichen können; die Studie bleibt für immer dort (oder solange der Forscher dies zulässt). Das bedeutet, dass Experimente frei erstellt werden können und dass kein anderer Forscher zahlen muss, um Ihr Werk zu inspizieren / zu überprüfen. Wir glauben, dass ein solch höherer Grad an Offenheit und Transparenz anderswo noch nicht zu sehen ist.

Reproduzierbarkeit / Wiederverwendbarkeit

Das Teilen oder Exportieren des Experiments in irgendeiner containerisierten Form ist wichtig für Forscher, die möglicherweise ihr Experimentdesign mit anderen Forschern demonstrieren oder kommunizieren möchten, ohne sich auf die Öffentliche Experimentbibliothek zu verlassen.

Alle in Labvanced durchgeführten Experimente weisen den höchsten Grad an Reproduzierbarkeit auf, da der genau gleiche Code in jedem einzelnen von ihnen verwendet wird. Dies liegt daran, dass alle Studienbearbeitungen / -implementierungen, die Forscher unter Verwendung von Labvanced durchführen, eine JSON-Datendatei (d.h. Experimentspezifikation) erstellen, die dann von der Labvanced-Experiment-Player-Engine ‘abgespielt’ / ‘ausgeführt’ wird, sodass die ausgeführten Funktionen für alle Studien auf der Plattform identisch sind.

Typischerweise basieren programmierungsbasierte Experimente auf irgendeiner Art von "benutzerdefinierten React/Python/eigenen Hosting-Lösungen", bei denen jedes komplexe Experiment gewissermaßen sein eigenes Codebasis ist. Und während Forscher sicherlich Komponenten haben, die in ihren Studien wiederverwendet werden können, gibt es in der Regel eine viel höhere Varianz in Bezug auf Code / Logik zwischen diesen Arten von Studien im Vergleich zu Labvanced-basierten Studien, was letztendlich die Reproduzierbarkeit verringern kann.

Letztendlich hilft es, einen einheitlichen Code in den Studien (wie Labvanced es tut) zu haben, um Skalierung, Zeitmanagement und auch die Schaffung einer Art von Framework zu erleichtern, im Gegensatz dazu, Projekte immer wieder auf rein individuelle Weise zu schreiben. Natürlich, als Forscher in der experimentellen Psychologie, gibt Labvanced den Nutzern die Möglichkeit, zu programmieren, und in solchen Fällen gibt es einen zugänglichen JavaScript-Editor sowie für CSS innerhalb der App.

Der tatsächlich knifflige Teil bezüglich der Wiederverwendbarkeit ist, dass es kein universell akzeptiertes Experimentprotokoll / Experimentformat für Online-Studien gibt, insbesondere nicht wenn es um Fähigkeiten wie webcam-basiertes Eye Tracking, Multiplayer-Support und so weiter geht.

Der einzige bestehende globale Webstandard liegt im Bereich der Datenspeicherung und des Datenaustausches, für den JSON verwendet wird… und genau das verwenden wir hier. Wichtig ist, dass Labvanced-Nutzer die gesamte JSON-Experimentspezifikation zu jeder Zeit und kostenlos mit einem Klick exportieren können, was bedeutet, dass Sie die Struktur Ihres Experiments (unabhängig von Labvanced) in einem standardisierten JSON-Format herunterladen, speichern und teilen können.

Wie bereits erwähnt, erfasst das JSON-Format im Wesentlichen die experimentelle Struktur. So würde beispielsweise ein Befehl in Labvanced, um ‘Blick auf den Frame-Start aufzeichnen’, im exportierbaren/sharbaren JSON-Code durch etwas wie dies reflektiert werden:

event: { trigger: onNewGaze actions [ {setRecVar:{ varID: "j234o234h234234" }} ] }

Somit können in Bezug auf Wiederverwendbarkeit und Reproduzierbarkeit mit Labvanced gebaute Experimente über die Öffentliche Experimentbibliothek hinaus kommuniziert werden, indem eine JSON-Datei exportiert wird, in der die Struktur des Experiments mit anderen geteilt werden kann.

Open Source

Ein großer Teil des Quellcodes hinter Labvanced ist tatsächlich Open Source und kann aus Transparenzgründen auf Github (https://github.com/Labvanced/) eingesehen werden. Bestimmte Teile, wie die proprietäre webcam-basierte Eye-Tracking-Technologie und neuronale Netzwerke von Labvanced, sind jedoch dort nicht enthalten. Dies liegt daran, dass wir unsere jahrelangen Investitionen in die Schaffung der genauesten webcam-basierten Eye-Tracking-Technologie schützen müssen. Andernfalls würde es einfach gestohlen werden, und wir haben buchstäblich Versuche in dieser Hinsicht von kleineren und größeren Unternehmen gesehen.

Fazit

Es ist sehr üblich, dass Labore oder Studenten auf eine Art Kombination aus PsychoJS+Pavlovia für einfachere Experimente zurückgreifen oder sogar den Weg gehen, vollständig maßgeschneiderte React/Python/eigenes Hosting-Lösungen für komplexere Experimente zu erstellen und dann ihren Code als Teil ihres Open-Science-Protokolls zu teilen.

Obwohl es eine großartige Möglichkeit sein kann, eine Studie selbst zu programmieren (wir sind selbst Programmierer), bringt es doch Herausforderungen mit sich. Natürlich kann es sinnvoll sein, eine Studie vollständig selbst zu programmieren, insbesondere wenn Sie IT-Fachkräfte haben, die diese Art von Arbeit für komplexe, groß angelegte Forschung leisten.

Unserer Meinung nach ist es oft effizienter und wirtschaftlicher, langfristig eine Plattform wie Labvanced zu verwenden, da wir insgesamt bereits 20+ Entwicklungsjahre (d.h. 3-4 Entwickler über einen Zeitraum von 7+ Jahren) in das Schreiben von Code investiert haben, der leistungsstarke (Web-)Experimente in einem einheitlichen Prozess ermöglicht, während wir gleichzeitig eine präzise Stimuli-Präsentation sicherstellen und den Forschern die Möglichkeit geben, online-spezifische Variablen für experimentelle Kontrolle.

Alles in allem unterstützt Labvanced die offene Wissenschaft und Transparenz und bietet mehrere Optionen, wie Forscher ihre Studien mit anderen Fachleuten in ihrem Bereich teilen und exportieren können.