
Labvancedとオープンサイエンスの精神
Labvancedはサブスクリプションベースのサービスであるため、多くの人にとってはオープンサイエンスに合わないように聞こえるかもしれません。しかし、これは全くの誤解です。Labvancedは、その構造と研究者が実験を作成し公開する方法の特性によって、オープンサイエンスの精神を受け入れるだけでなく、オンライン実験研究を実施する際のベストプラクティスを推進する手助けもしています。
公共実験ライブラリとオープンサイエンス
Labvancedには、オンライン研究をできるだけ自由にアクセス可能で共有可能にしたい研究者のためのいくつかの手段があります。その一つが公共実験ライブラリです。公共実験ライブラリを通じて、研究者は実験を公開でき、参加を希望する誰でも参加できるようになります。実験を公開する際、研究者はその研究がどの程度テンプレートとして使用されるか(つまり、他のサブスクリプションユーザーによってインポート可能かどうか)を指定できますが、Labvanced以外のユーザーにとっての‘オープンアクセス’がどのように見えるか(デザイン/実験設定のみが表示されるのか、収集されたデータも公開されているのか)も指定できます。

公共実験ライブラリは、存在するオープンサイエンス/オープン実験ライブラリの中で最も大きなものであり、世界中の外部機関から600以上の研究がリストされています。これにより、レビューアは実装を‘検査’でき(アカウントがなくても)、収集されたデータを見ることができます(このオプションが選択された場合、公開利用可能です)。この目的のために、多くの研究者がハイインパクトジャーナルに発表する際にLabvancedのリンクを提供しています。
また、研究者は費用をかけずに公共実験ライブラリに研究を公開できることにも注意してください; その研究は永遠に(または研究者がそれを許可している限り)そこにあります。これは、実験が自由に作成され、他の研究者があなたの仕事を検査/レビューするために支払う必要がないことを意味します。私たちは、このような高いオープン性と透明性は他の場所では見られないと信じています。
再現性/再利用性
いかなる種類のコンテナ化された形式で実験を共有またはエクスポートすることは、公共実験ライブラリに依存せずに他の研究者と実験デザインを示したりコミュニケーションをとったりしたい研究者にとって重要です。
Labvanced内で行われたすべての実験は、全ての実験で同じコードが使用されるため、最も高い再現性があります。これは、研究者がLabvancedを使用して行うすべての研究編集/実施がJSONデータファイル(つまり、実験仕様)を作成し、それがLabvancedの実験プレイヤーエンジンによって「再生/実行」されるためです。これにより、実行される機能はプラットフォーム全体で全ての研究に対して同じになります。
通常、プログラミングベースの実験が依存するのは、各複雑な実験がそれ自体のコードベースを持つような「カスタムReact/Python/セルフホスティングソリューション」です。そして、確かに研究者は自分の研究の中で再利用可能なコード(つまり、コンポーネント)を持ち利用しますが、Labvancedベースの研究と比べて、これらの種類の研究間でコード/ロジックに関するばらつきがはるかに高くなり、最終的には再現性を低下させる可能性があります。
最終的には、研究全体で同じコードベースを持つこと(Labvancedが行っていること)は、スケーリング、時間管理、また何らかのフレームワークを作成するのに役立つアプローチです。完全にカスタムな方法でプロジェクトを書くのではなく、再度書く必要があるのです。もちろん、実験心理学の研究者として、Labvancedはユーザーにコーディングの機会を提供しており、その場合、アプリ内の利用可能なJavaScriptエディタやCSSエディタも利用できます。
再利用性に関する実際の難しい点は、オンライン研究のための普遍的に受け入れられた実験プロトコル/実験フォーマットが存在しないことです。特にウェブカメラベースの目のトラッキングや、マルチプレイヤーサポートなどの機能に関しては特にそうです。
唯一の既存のグローバルウェブ標準は、データストレージとデータ交換のドメインにあり、そこではJSONが使用されています… そして、これが私たちがここで使用している正確なものです。重要なのは、Labvancedのユーザーがいつでも無料で、ワンクリックで全JSON実験仕様をエクスポートできるということです。つまり、Labvancedに依存せずに、標準化されたJSONフォーマットで実験構造をダウンロード、保存、共有できるということです。
前述のように、JSONフォーマットは本質的に実験の構造をキャプチャします。たとえば、Labvancedに「フレーム開始時に視線を記録する」コマンドがある場合、これはエクスポータブル/共有可能なJSONコードで次のように反映されます(注:これは単純化された例です):
event: { trigger: onNewGaze actions [ {setRecVar:{ varID: "j234o234h234234" }} ] }
したがって、再利用性と再現性に関するトピックにおいて、Labvancedで構築された実験は、実験構造を他者と共有できるJSONファイルをエクスポートすることによって、公共実験ライブラリを超えて伝達できます。
オープンソース
Labvancedの背後にある多くのソースコードは実際にオープンソースであり、透明性の理由からGithub (https://github.com/Labvanced/)で見ることができます。ただし、Labvancedの独自のウェブカメラベースの目のトラッキング技術やニューラルネットワークのような特定の部分は含まれていません。これは、私たちが最も正確なウェブカメラベースの目のトラッキング技術を開発するために数年かけた投資を守る必要があるからです。さもなければ、盗まれてしまいますし、私たちは過去に小さな企業や大きな企業のいずれからもこの方向への試みを見てきました。
結論
研究室や学生が、よりシンプルな実験のためにPsychoJSとPavloviaの組み合わせに依存したいと考えたり、あるいはより複雑な実験のために完全にカスタムなReact/Python/セルフホスティングソリューションを作成して、それをオープンサイエンスプロトコルの一部としてコードを共有することは非常に一般的です。
研究をプログラミングすることは素晴らしい方法ですが(私たち自身もプログラマーです)、それには課題が伴います。もちろん、特に大規模な複雑な研究のためにそのような仕事をしているIT専門家がいる場合、完全に独自に研究をプログラムすることは理にかなっています。
私たちの意見では、長期的にはLabvancedのようなプラットフォームを使用する方がより効率的で経済的であり、すべてを合わせて、私たちはすでに20年以上の開発者の年数(つまり、7年以上にわたる3〜4人の開発者)を投資して、強力な(ウェブ)実験を一貫したプロセスで作成するためのコードを書いています。その際、正確な刺激提示を保証し、実験的制御のために研究者がオンライン特有の変数を監視できるようにしました。
全体として、Labvancedはオープンサイエンスと透明性を支持し、研究者が他の専門家と研究を共有、エクスポートするためのさまざまなオプションを提供しています。