論文『Decoding Intentions』、「Executive Summary」の翻訳

OpenAIの内紛*1において、その発端となったとされるのが論文『Decoding Intentions』だ。

cset.georgetown.edu

しかし、その論文が主張するところ、論文そのものに問題があるわけではない。論文は３つの事例に基づいて、「costly signal」（訳出の詳細について後述）をキーワードに、意図を読み解くこと、伝えることを論じている。この事例の一つが論文のP27～30に掲載されている「Private Sector Signaling」だ。

Sam Altmanは、ここで言及されていることがAnthropic社に好意的であり、OpenAIに批判的である、と解釈した。これをきっかけに、OpenAI取締役会のメンバーであり、論文共著者の一人でもあるHelen Tonerとの衝突が生じ、Ilya Sutskever*2はToner側に立った、という経緯があったようだ。

私が知りたかったことは「Private Sector Signaling」に言及されているのだが、この章を読み解くには、論文本来の主題についての理解が必要だ。前提知識を得るため、まずは「Executive Summary」を読む。
この投稿で紹介しているのは、「Executive Summary」の翻訳だ。「Private Sector Signaling」の翻訳は、後日の投稿とする。*3

ちなみに、この論文の内容は、CISAやCISMホルダーのような内部監査、統制、セキュリティ関係者の職務に合致している。特にAI関連の対応を日常業務へ取り入れるに際し、どのような活動に目を向ければよいのか、の参考になる。
この観点から、あまりエンジニア向きの内容ではないことを、事前に申し添えておく。

注意
翻訳
- Executive Summary
- Table 1

注意

Costly signal

論文には「costly signal」という表現が頻繁に登場する。翻訳では、これを「代償を伴う意思表示」と翻訳し、それに関連する「signal」「signaling」を、文脈と言葉づかいに応じて「意思表示」「意思伝達」「表意」と表現している。

論文で言うところの「signal」とは、例えば、信号やアラームから仕草や声明のように、意思を一方的に表現、伝達するための手段を指している、と解釈した。それが「costly」である、つまりコストを伴い、高くつく行為でもあるのだ。このコストとは、消費リソースという意味だけでなく、行為が失敗したときに損なわれる何かも含まれている。そのため「costly」を「代償を伴う」と表現した。

ちなみにハンディキャップ理論*4における「costly signal」は、「ハンディキャップ信号」と呼ばれることがあるのだが、この翻訳では用いなかった。

4種類の意思表示

論文では4種類の「costly signal」に言及されている。

Tying hands
Sunk costs
Installment costs
Reducible costs

これらは意思表示手段の要素を象徴した名称であって、それぞれの表現が直接的に表す言葉、例えば、Sunk cost→埋没費用、を表しているわけではない。それぞれの内容、特徴を反映して、次のように表現した。

Tying hands	自己統制
Sunk costs	先払いの代償
Installment costs	後払いの代償
Reducible costs	相殺可能な代償

例えば、「Tying hands」とは、政府や業界のレベルで言えば、自主規制ルールとでも言おうか。いわゆる「縛りプレイ」の”縛り”に相当するような、自分たちで決めた制約、制限だ。
そして、その他の「代償」とは、必要とされている活動や対応事項だ。活動にはコストが伴うことから、「~ costs」と命名されているのだろう。実際には、AIを運用するための活動であり、すなわち、AIと付き合っていくための代償ということなのだ。

その他

「policymakers」という言葉が登場する。国家、政府に関連する表現では「政策立案者」、その他では「意思決定者」と表現した。

「Table1 1」が表現しているのは、それぞれの事例について、代償を伴う意思表示の具体例を紹介している。この翻訳は、表形式を崩し、事例ごとの箇条書きとした。これは、はてなブログの表組、特にモバイル環境での読みやすさを考慮しての対応だ。

翻訳

Executive Summary

AIという分野において、どうすれば意思決定者は、適切に意図を評価し、意思表明することができるだろう。AI技術は急激に進化しており、民間、軍事用途に幅広く適用可能だ。AIにおけるイノベーションの多くは民間企業が主導しているが、その動機が本国の思惑と合致しているとは限らない。政府と企業が競って、より高性能なシステムを展開するならば、誤解と不注意による激化リスクは高まるだろう。地政学的競争が激化した状況では、安全かつ責任のあるシステム開発の観点から、誤解を防ぎ、明確にコミュニケーションするための、あらゆる政策手段を理解しておく必要がある。

この論文では、あまり議論されることのない重要な政策手段として、代償を伴う意思表示を取り上げる。代償を伴う意思表示とは、言行不一致には政治的、評判上、金銭的なペナルティが伴う、果たせなかった公約、効果の無かった脅迫のような、言動を指す。学術文献に基づき、代償を伴う4種類の意思表示に注目し、それぞれをAI領域に当てはめまた（Table 1参照）。

「自己統制」では、自国のAI政策方針、多国間体制による議決、AIモデルのテスト、評価に関する公約などを、戦略的に国内外に向けて宣誓する。

「先払いの代償」は、AIアルゴリズムのライセンスや登録義務、試験評価環境への大規模投資といった、着手に先立ち必要な金額の支払い意思に左右される。

「後払いの代償」とは、AIシステムに対する継続的検証や、データセンターのAI使用課金の管理のように、当事者が後払いすることの取り決めとなる。

「相殺可能な代償」とは、例えば、より理解可能なAIモデルへ投資したり、AIへの投資基準策定に参加表明したり、AIシステムの設計方針を入れ替えたり、当事者の行動によって先払いコストを、時間をかけて相殺していくことである。

３つの事例をもとに、AIにおける代償を伴う意思表示を研究する。最初の事例は、軍事用AIと自律性にまつわる意思表示の考察だ。次に、人権、自由、データ保護、プライバシーが設計に反映された民主的AIと、その開発、展開に対する、政府の意思表示を検証する。最後に、大規模言語モデルを開発、公開する民間企業の意思表示を分析する。

代償を伴う意思表示は、国際社会の安定に有効ではあるが、その強みと限界を理解しておく必要がある。キューバ危機を機に、合衆国はモスクワとの直通ホットラインを開設し、恩恵を受けた。今日の競争的で多面的な情報環境では、影響力のある参加者が増え、誤解の生じる機会に事欠かない。不用意な意思表示は代償を伴う。合衆国政府が民主的AIに関して意思表示したなら、それは特定の価値観を支持する強力なメッセージとなり、信条を異にするパートナー国との不和を生じさせ、偽善の非難を招く恐れがある。全ての表意が意図的なものではないにしても、各国政府、商業組織が、代償を同様に想像するとは限らない。この複雑性は解消できないものではないが、民間企業がイノベーションを主導し、本国と利害が対立する経済状況において、意思伝達は困難なものとなる。

誤解と不注意による激化の恐れを考えれば、官民の意思決定者は、一貫した戦略として意思表示を取り入れる必要がある。代償を伴う表意にはトレードオフが付き物だ。プライバシー、セキュリティー上の規範と、意思表示に伴う明瞭さとの軋轢を調整する必要がある。「隠し通すか、さらけ出すか」の二者択一ではなく、意思伝達の内容と手段までも、意思決定者と技術指導者が検討するとき、意思表示のチャンスが拡大する。一意に解釈できない意思表示、複数の表意は、相補的にも相反的にも作用する。官民指導者たちのメッセージに矛盾がなければ、AIに対するコミットメントの信憑性は高まるものの、異なる技術領域にわたる判断材料に不足があれば、関係者の誤解を招くだろう。政策立案者は、代償を伴う意思表示を、机上演習や同盟国、競合国との会談に取り入れるべく検討すべきだ。それによって、想定を明確にし、エスカレーション・リスクを軽減し、危機においてはコミュニケーションを介して共通の理解を深めることができる。騒々しく、時に混乱を招くことがあったとしても、意思表示を欠かすことはできないのだ。