AIエージェントと人間の共謀者の両方が、同じ欺瞞、社会的圧力、または交渉パラダイムに関与していることを示す図

AI 共謀者: 方法論と妥当性

AI共謀者は、欺瞞、社会的圧力、交渉のパラダイムにおいて人間の accomplice の代わりとして機能する、スクリプト化されたまたはモデル駆動型のエージェントです。訓練を受けた人間の共謀者とは異なり、その行動はすべての参加者にわたって正確に指定、記録、および再現することができ、これが共謀者を使用するための中心的な方法論的主張であり、またデフォルトで採用されるのではなく、設計の決定として評価される必要がある理由でもあります。

このページでは、AIをその他のクラシックなパラダイム内の人間の役割を代替するツールとして扱います: AIは道具であり、測定されるものではありません。それは、AI自体が研究の対象となっている研究とは異なる問題です。このことは下のFAQで取り上げられています。

AI共謀者としての要件

クラシックな意味での共謀者とは、参加者に別の参加者または普通の対話相手として現れる人であるが、実際には実験者が制御するスクリプトに従って行動している人です。これは、欺瞞のパラダイム（服従研究の偽の共同参加者）、社会的圧力のパラダイム（信頼ゲームで協力しないように振る舞うパートナー）、および交渉や交渉タスク（あらかじめ決められたパターンに従って提供する相手）で最もよく知られています。AI共謀者はその人間の共謀者の代わりにモデル駆動型エージェントで立ち、参加者は依然として、またはそのように信じさせられ、研究において別の当事者と相互作用していると信じていますが、その当事者の応答は訓練を受けた人間の演者によって行われるのではなく、AIシステムを通じて生成またはスクリプト化されます。

これは新しい実験デザインではありません。既存のデザイン内での代替アプローチであり、同じアイデアの下位技術版がすでに存在します: Labvancedのマルチユーザー研究の文書には、「バーチャル対戦相手」戦略が記述されており、参加者は他の参加者と対戦していると言われますが、他側は実際にはランダムな選択を行うアルゴリズムです。そのアプローチはAI共謀者のアイデアの真の祖先ですが、限られたものであり、ランダム選択アルゴリズムはスクリプト化された社会的圧力の交換を保持したり、交渉を行ったり、信じられる欺瞞的な会話を維持したりできません。生成AIが追加するのは、自然でコンテキストに応じた言語を生み出す能力であり、いくつかのデザインでは音声や画像も含まれ、人間の共謀者の即興の代わりとなるものであり、これがこのアプローチをランダム選択アルゴリズムが支援できなかったパラダイムに適用可能にします。

AI共謀者の必要性

AI共謀者は人間の共謀者の完全な代替ではなく、別の実行可能であり、いくつかのデザインではより強力なオプションです。これを支持する4つの考慮事項があります: 制御、再現性、倫理、そしてスケールです。

制御

訓練を受けた人間の共謀者は、すべての参加者にわたって固定された行動プロトコルを再現するよう求められます: 同じトーン、同じ抵抗、交渉タスクでの譲歩のタイミングなどです。実際には、共謀者は逸脱します。疲労、気分、複数のセッションを通じての積み重なった経験はすべて、研究者が設計したものではない変動を引き起こし、その変動は実験操作と時間やセッション順序と相関関係があるため、混乱因子となります。固定されたプロンプトと固定された構成から生成されるAIエージェントは、個人がするような方法で疲労やセッションの経験を蓄積することはなく、その結果、セッション間のその特定の逸脱の要因を排除しますが、それ自体の一貫性の要件を導入します（以下を参照）。

Labvancedの実装において: 同じ Send to OpenAI 構成がタスクのすべてのセッションで変更されることなく実行されます。それは固定された設定であり、毎回人間が記憶から再現しなければならないプロトコルではありません。

再現性

人間の共謀者の正確な行動は、方法論のセクションで完全には指定されることはほとんどありません。詳細なスクリプトでさえ、判断で埋めなければならない隙間が残ります。そのため、異なるラボが研究を再現しようとすると、元々の共謀者のパフォーマンスの近似を再現していることになります。文書化されたプロンプト、モデルバージョン、生成パラメータは完全で持ち運び可能な仕様です: 他のラボは、元のものの近似をするために新しい演者を訓練するのではなく、同一の構成を実行することができます。

Labvancedの実装において: モデルバージョン、温度、およびプロンプト自体はタスク構成にそのまま保存されているため、このセクションが要求する完全な仕様は追加の文書作成作業ではなく、すでに保存されているものです。

倫理

生の人間の共謀者を使って参加者を欺くことには、研究者が正当化し、デbriefingしなければならない倫理的な重みがあります: 実際の人間が、ある意味で欺瞞に加担していました。AI生成の共謀者は、そのアレンジの倫理的性質を変えますが、依然として研究デザイン自体に基づく欺瞞を取り除くことはありません。従って、あらゆる欺瞞パラダイムが要求するように、同じデbriefingと同意処理が依然として必要です。これは共謀者使用の特定の倫理的次元を和らげますが、全体として欺瞞パラダイムの倫理を単純化するものではありません。

スケール

オンラインおよびリモート研究は、単一のラボセッションよりもはるかに多くの参加者をリクルートでき、それが人間の共謀者に特有のスケーリング問題を生み出します: 追加の参加者ごとに別の共謀者のセッションが必要になるため、より大きなサンプルは、より多くの共謀者をリクルートし、訓練し、スケジュールすることを意味し、さらに、すべての共謀者が互いに行動的に一貫性を保つ必要があります。これは、上記の制御の中でカバーされている、共謀者間の漂流に加わります。AI共謀者はこの問題を持っていません。同じ構成が千人目の参加者にも初めての参加者とまったく同じように実行され、追加のスタッフ、訓練、または共謀者間の一貫性チェックを管理する必要がありません。これが、AI共謀者が大規模なオンライン研究に特に適している理由です。

Labvancedの実装において: 同じAI同盟者の設定は、研究が20人の参加者と2,000人の参加者を集めるかどうかにかかわらず、変更されることなく動作します。これは、サンプルサイズに応じてスケールする必要があるのは人員ではなくタスク設定であるためです。

AI同盟者を使用する際の方法論的考慮事項

AI同盟者を採用することは、プラグアンドプレイの選択肢ではありません。それは独自のデザイン要件を導入し、それらを省略することは、人間の同盟者の混乱をモデルの同盟者の混乱に置き換えるだけです。

AIの行動を独立変数として制御する

AI同盟者の反応が参加者間で予測不可能に変動する場合、トーン、協力的または非協力的に見える程度、応答の長さにおいて、研究はAI同盟者が除去することを意図した正確に制御されていない変動を再導入してしまいます。LabvancedのAIおよび心理学研究統合は、研究者が同盟者の行動を仮定ではなく制御された変数として扱うために必要な特定のパラメータを明らかにします：

研究の期間中にピン留めされたModel Version、そのため、セッション間でのプロバイダー側のモデル更新が研究中に同盟者の行動を変更することはできません。
system-役割メッセージの詳細がInsert Messageを介して設定され、同盟者のペルソナと行動の境界がモデルのデフォルトの判断に委ねられるのではなく、文書化されます：参加者プールに適した言語のレジスタとスラング、現在の出来事についての認識の範囲、及び参加者が直接「あなたはAIですか？」と尋ねた場合の応答方法。
スクリプト的な感覚を持つ同盟者のために、その範囲の決定論的な端に向けてTemperatureが設定され、これは温度が生成された応答のランダムさと予測可能性を制御するためです。
Max Tokensが上限を設定して参加者間での応答の長さを一貫させる、上限がない同盟者は、あるセッションから次のセッションにかけて発言量が大きく異なる可能性があるためです。
音声ベースの同盟者の場合、参加者間で音声トーンを一定に保つために固定されたVoiceおよび文書化されたInstructions（例えば、中立的で落ち着いた配信を指定）を使用して、試行ごとに変動させないようにします。
Linked Chat History Dataframe、そのため、すべての参加者との完全な交換が記録され、同盟者が一貫して行動していたことを事後確認できるようになります。これは、人間の同盟者のスクリプト遵守のための操作チェックが提供する監査トレイルと同じです。

これらの設定は、セッション間でのgenAIパフォーマンスの一貫性を確保するのに役立ちます。これは、研究者が意図的に引く必要があるレバーであり、人間の同盟者研究がトレーニングプロトコルやセッション間の忠実度チェックを必要とするのと同じ方法です。

OpenAI テキストベースのチャット

このテンプレートは、LabvancedとOpenAIの間のリアルタイム通信チャンネルを設定します。この統合に基づくすべての同盟者ベースの研究の基盤です。これを出発点として使用し、プロンプト、モデル、およびパラメータをあなたのパラダイムに合わせて修正します。

注意: この特定のデモでは、トークンの長さ（つまり、応答の長さ）が100に設定され、温度（つまり、創造性）が1に設定されています。これは、Study Settingsで調整できます。

妥当性変数としてのプロンプトデザイン

system-役割メッセージは、研究者が同盟者の全行動方針を手書きで記述する場所です：言語のレジスタとスラング、現在の出来事への認識の範囲、および参加者が直接「あなたはAIですか？」と尋ねた場合の応答方法。異なるスラングの調整、異なる現在のイベントのカットオフ、またはAIの質問に対する異なるスクリプト回答で同じ置換を行っている2つの研究室は、同盟者の行動が意味的に異なる可能性があり、これは言語モデル研究で広く文書化されているプロンプト感度の一形態です（(Zhuo et al., 2024)）。参加者がAI同盟者に異なった反応を示す研究は、実際の代替効果を捉えている可能性がある一方で、これらの側面のいずれかで仕様不足または不十分に設計されたプロンプトを捉えている可能性もあります。プロンプトデザインを報告し、厳密に調査すべき変数として扱うことが、これら2つの説明を区別可能にします。

Labvancedの実装において: これは、system-役割メッセージがInsert Messageを介して設定され、各セッションごとに新たに入力されるのではなくタスクの一部として1回保存されることにより、正確に書かれた通りに報告および監査を行うことを可能にします。

同じ著作権は意図的な使用をも開きます。研究者は、条件ごとにシステムプロンプトを変化させ、その操作自体として使用することができます。例えば、交渉タスクの中で協力的なペルソナの同盟者と競争的なペルソナの同盟者を対比させる場合です。ここでプロンプト自体が独立変数であり、条件間で意図的に変化させられ、一定のものとして保持されるのではありません。したがって、方法論的な基準もそれに応じてシフトします：プロンプトのバリアントは、意図された次元（協力的対競争的）でのみ異なる必要があり、他の次元（長さ、形式、語彙）で偶然に異なると操作が始まる前に混同されます。ここでは、参加者がどのように同盟者を実際に意図された次元に沿って認識したかについての操作チェックが不可欠になり、これは人間の同盟者のスクリプトペルソナが意図された通りに伝わったことを確認するためのパイロットテストと同じです。

パラダイムの適合

AI同盟者は、相互作用が事前に指定されたり、制限された応答タイプのセットから生成されたりできるパラダイムに適しています。詐欺シナリオ、構造化された社会的圧力の交換、定義されたオファースペースにおける交渉および取引タスクなどです。AI交渉研究は、オファーとカウンターオファーが定義されたスペース内に収まるため、最も明確に適合するものの1つです。これは、同盟者がその制限された空間を超えて説得力を持って即興することに依存する場合、または欺瞞が参加者が同等の地位にある人間の仲間と関わっていると信じることに特に依存する場合には、適合性が低くなります。AIの存在が疑われた瞬間に操作が完全に崩壊するコンテキストです。

Labvancedの実装において: Send to OpenAIアクションは、単一参加者研究内の欺瞞、社会的圧力、または交渉の交換における同盟者の側を生成します。同盟者は第二の実際の接続されたユーザーではなく、これらのパラダイムを構築するためにはLabvancedのマルチユーザーインフラは不要であり、参加者のセッションだけがライブです。

パラダイムタイプ	AI共謀者の適合性	理由
スクリプテッドディセプション（偽の共同参加者、確認操作）	適合	行動は事前に完全に指定できる; ライブ即興は不要
構造化された社会的圧力交換（パートナーの協力/裏切りにおける信頼ゲーム）	適合	反応空間は限定されている（協力、裏切り、特定のメッセージタイプ）、制御されたプロンプトに適している
定義されたオファースペースを持つ交渉および交渉タスク	適合	オファーとカウンターオファーは文書化されたパラメータ内で生成できる
オープンエンドの即興社会的相互作用	適合しない	限定された反応セットの外での説得力のある、スクリプトのない人間のような即興に依存する
同等の地位を持つ人間の仲間の信念が操作の負担要素である設計	まず操作チェックが必要	AIの存在が疑われると、欺瞞は崩壊する; それが成り立つかどうかは明確な実証的な問題であり、前提とはならない

オープンな妥当性の問題

AI駆動の共謀者に欺かれた参加者が、信頼ゲーム、同調パラダイム、または特定の交渉タスクにおいて、人間の共謀者に欺かれた参加者と同じように行動するかどうかは、まだ直接的にテストされていません。この代替は新しいものであり、この頭対頭の比較はまだ実施されていません。AIの存在を疑ったり発見したりすることが、相互作用の社会的賭けを、人間の共謀者ではない形で変える可能性があり、それはAI共謀者が単に混乱要素を取り除くのではなく、人間の一貫性の混乱要素とAI特有の別のものを交換することを意味します。AI共謀者の厳格な利用は、たとえば参加者が人間と相互作用していると正しく信じていたかを操作チェックを通じて確認することによって、これはオープンな実証的な問題として扱います。

よくある質問

AIは心理実験における人間の共謀者を置き換えることができますか？

方法論的には、共謀者の行動が事前に指定できるか、限定された反応空間内で生成可能なパラダイムでは、欺瞞シナリオ、構造化された社会的圧力交換、交渉タスクが最も明確に適合します。この主張は、制御性、再現性、スケール、および生身の人間の共犯者を欺くことに対する相対的に軽減された（排除されたわけではない）倫理的負担に基づいています。参加者が人間の共謀者と同じように行動するかどうかは、別の現在のオープンな実証的な問題です。

AI共謀者と人間-AI相互作用研究の違いは何ですか？

AI共謀者のデザインでは、AIは古典的なパラダイム（欺瞞、社会的圧力、交渉）の中で人間の役割を代替し、それ自体が測定されているものではなく、道具です。人間-AI相互作用研究では、AI自体が主題であり、研究課題は人々がAIにどのように反応するか（信頼の調整、説得、チャットボットのユーザーエクスペリエンス）についてであり、参加者は通常、自分がAIと相互作用していることを知っています。

AI共謀者を使用することは、人間の共謀者にはない妥当性の問題を導入しますか？

可能性があります。AI共謀者は、人間の行為者が疲労や蓄積された経験を通じて導入する間のセッションのドリフトを取り除きますが、行動が意図的に制御されていない場合（モデルのバージョン、温度、音声および配信の指示を含む音声ベースの共謀者の場合）、独自の不整合を導入する可能性があります。また、参加者がAIの存在を疑ったり確認したりした際に反応が変わるかどうかについてもオープンな質問があり、人間の共謀者の研究はその点を同じ方法で考慮する必要はありません。

AI共謀者はどのようなパラダイムに適していますか？

限定可能な反応空間を持つパラダイム：スクリプテッドディセプション、構造化された社会的圧力交換（協力/裏切りスタイルの相互作用）、および定義されたオファースペースを持つ交渉や交渉タスクに適しています。オープンエンドの即興社会的相互作用や、操作が具体的に参加者が同等の地位を持つ人間の仲間と相互作用していると信じることに依存する設計には適していません。AIの存在は、一度疑われると、その信念を崩壊させる可能性があります。

AI共謀者を使用することはAI欺瞞の研究と同じですか？

AI共謀者はAI欺瞞研究を行う方法の一つであり、それ自体の同義語ではありません。AI欺瞞研究はより広いカテゴリーです：人工知能エージェントの関与が参加者に隠されるか誤表示される任意の研究です。AI共謀者は、それが古典的なパラダイム（欺瞞、社会的圧力、または交渉）の中で人間の共犯者を代替する特定のケースであり、たとえば参加者が人間の供給源から来たと知らされている刺激を静かに生成しているAIとは異なります。

交渉や交渉パラダイムが対象の設計である場合、ウルティマタムゲームタスクページは、AI共謀者が生成するのに非常によく適している限定オファースペース構造の具体的な例です。