
Websocket アクションの送信
Send To Websocket アクションは、実行中のスタディから WebSocket 接続を介してプログラムにメッセージを送信します。これにはローカルの Python スクリプト、録音デバイス、または外部サーバーが含まれます。メッセージには変数の値を含めることができ、アクションは録音された画像、音声、またはビデオファイルを送信することもできます。
概要
Send To Websocket アクションは、アクション選択メニューの API Actions カテゴリにリストされています。Websocket トリガー と組み合わせることで、スタディは Labvanced の外部で実行されているソフトウェアと双方向通信を行うことができます。
一般的な使用例
Send To Websocket アクションは、スタディ内で発生するイベントが外部で知られる必要がある場所で使用されます。
- 録音システムへのイベントマーカーの送信: 刺激の発生、応答、または条件の変化の際に、スタディはマーカーをローカルスクリプトに送信し、それが Lab Streaming Layer マーカーに変換され、EEG と視線追跡ストリームと共にタイムスタンプが付けられます。EEG & ハードウェア統合 を参照してください。
- サーバーへのデータの送信: スタディは参加者の応答または計算された値を、処理を行うサーバーに送信します。例えば、分析や機械学習プロセスなどです。
- 録音メディアの送信: 録音された画像、音声、またはビデオファイルが、それを保存または分析するプログラムに送信されます。
動作の仕組み
Send To Websocket アクションにアクセスするには、タスクエディタの イベントシステム を開き、イベントを選択または作成します。アクションエリアでは、API Actions カテゴリを開き、Send To Websocket を選択します。
接続がスタディ設定で有効にされると、アクションが使用可能になります。もし Send To Websocket がメニューでグレーアウトしている場合は、まずそれを有効にしてください:
Settingsタブを開きます。Special Featuresドロップダウンを開き、Websocket Connectionセクションを見つけます。- 有効化オプションにチェックを入れ、次に
WebSocket AddressとPortを入力します。デフォルトはws://localhostおよび8081で、スタディが実行されている同じコンピュータ上でスクリプトに接続します。
ダイアログには以下の内容が含まれています:
| オプション | 説明 |
|---|---|
Websocket Address | スタディ設定からのアドレスを表示します。ここでは編集できません。 |
Port | スタディ設定からのポートを表示します。ここでは編集できません。 |
Data Type | アクションが送信する内容を選択します。Text / JSON はメッセージとオプションの変数値を送信します。Binary (image/audio/video) は録音済みのファイルを送信します。 |
Trigger / message to send | メッセージラベル、例えば trigger1。このフィールドは Text / JSON の場合のみ表示されます。 |
Send Variable | 送信される変数の値。Text / JSON にはオプションで、Binary (image/audio/video) には必須です。選択すると変数ピッカーが開きます。 |
Binary (image/audio/video) の場合、録音を保持する変数を選択します。例えば、音声またはビデオ録音の変数です。もしその時点で変数が録音を保持していない場合、何も送信されません。
受信プログラムで得られる内容
アクションは、Labvanced の外部でプログラムがリッスンしている場合にのみ効果があります。そのプログラムは、通常同じコンピュータ上の短いスクリプトで、スタディが接続する WebSocket サーバーを実行し、スタディが送信した各メッセージを読み取ります。
Text / JSON では、各メッセージには二つの部分があります:
- ラベル:
Trigger / message to sendからのテキスト、例えばtrigger1。受信プログラムはこれを使ってメッセージのタイプを区別します。 - コンテンツ:
Send Variableで選択された変数の現在の値。変数が選択されていない場合、メッセージにはラベルのみが含まれます。
Binary (image/audio/video) では、アクションはラベルなしで録音ファイルをそのまま送信します。
受信スクリプトを書く人にとって、Text / JSON メッセージは、ラベル用のフィールド msg とコンテンツ用のフィールド value を持つ JSON オブジェクトであり、変数が選択されていない場合は value が null になります。GitHub の Labvanced WebSocket API リポジトリ の例のスクリプトは、スタディからメッセージを受信し、それを LSL マーカーとして送信するもので、良い出発点です。接続の設定については、WebSocket API ガイドを参照してください。
ワークフローのヒント
- スタディを開始する前にスクリプトを開始してください。スタディが開始すると接続が開きます。
- データ収集を行う前に、スクリプトと同じコンピュータ上で実行されるスタディで接続をテストしてください。デフォルトの
ws://localhostは、そのコンピュータ上のプログラムにのみ到達します。 - 受信側がマーカーがどの刺激に属するかを知る必要がある場合、
Send Variableで条件ラベルまたはトライアル番号を送信します。 - マークを付けたい瞬間、例えばフレームの開始やクリック時にアクションを配置して、メッセージがその瞬間に送信されるようにします。
スタディと例のシナリオ
マーカーを LSL に送信。 LSL Send Marker ライブラリスタディでは、入力フィールドがマーカー値を供給し、ボタンクリックがこのアクションでローカル Python サーバーに送信します。サーバーはメッセージを LSL マーカーに変換します。ライブラリで Inspect オプションを使用してイベント設定を確認してください。
双方向メッセージング。 Socket Connection Example ライブラリスタディは、このアクションでスタディの外にメッセージを送信し、Websocket トリガーで応答に反応します。