Yudkowskyによる「大規模なAI学習を世界規模で無期限に停止し、計算資源規制を国際的に執行する案」

Yudkowskyは、2023年に、「GPT-4より強力なシステムの学習を6か月停止する案」について、何もしないよりはましではあるものの、彼が想定する危険に対処するには短すぎるとして、新たな大規模AI学習を世界規模で無期限に停止することを提案した。政府や軍も例外とせず、米中などの国家間で優位を争う問題ではなく、すべての国に共通する存亡上の脅威として扱うべきだとする。その背景には、現在と大きく変わらない条件で人間を上回るAIを作れば、人類絶滅が最も可能性の高い結果となり、超人的なシステムを安全に扱う方法を6か月程度で確立できる見込みもない、という彼の評価がある。 Pausing AI Developments Isn't Enough. We Need to Shut it All Down

具体的な規制手段としては、大規模なGPUクラスターの稼働と大規模なAI学習を停止し、AIの学習に使用できる計算量に上限を設け、学習アルゴリズムの効率が向上するにつれてその上限を引き下げることを挙げている。禁止対象の活動が他国へ移転するのを防ぐために多国間協定を結び、販売されるGPUを追跡することも求める。例外として、生物学・バイオテクノロジーの問題だけを扱い、インターネット上のテキストを学習データに使わず、会話や計画ができる水準まで学習させないAIを認める可能性にも触れるが、その例外によって制度が複雑になるなら撤回し、全面的な停止を優先するとしている。 Pausing AI Developments Isn't Enough. We Need to Shut it All Down

Yudkowskyは、この体制を署名国の自発的な遵守だけに委ねるべきではないと考えている。協定に参加しない国が禁止対象のGPUクラスターを建設していると判断された場合には、武力衝突のリスクを冒してでもモラトリアム違反の阻止を優先し、そのデータセンターを通常兵器で破壊することまで選択肢に含めるべきだと主張する。また、その攻撃に対して核保有国が核で報復する危険があっても、大規模なAI学習を阻止する意思をあらかじめ明確に示すべきだとする。ただし追記では、これは非加盟国への核先制攻撃やデータセンターへの核攻撃を提案するものではなく、通常兵器による攻撃に対して相手国が核報復に出るリスクを受け入れるという意味だと明示している。 Pausing AI Developments Isn't Enough. We Need to Shut it All Down

この提案は、通常の国際協定だけで容易に実現できる政策として提示されているわけではない。Yudkowsky自身、現実に採用されるとは予想しておらず、ここまで状況が悪化した末に残された「最後の手段」として、極めて例外的な措置だと位置づけている。それでも、すべての国の自発的参加を必要条件とするより、危険認識を共有する核保有国を含む連合が、非加盟国にも禁止措置を実効的に強制する方が、まだ実現の余地があると述べている。したがって中心的な提案は、単なる6か月の一時停止ではなく、大規模なAI学習を継続的に停止させる国際的な計算資源制限と、その制限を非加盟国にも執行する意思を組み合わせることである。 Pausing AI Developments Isn't Enough. We Need to Shut it All Down

Citation references

• Pausing AI Developments Isn't Enough. We Need to Shut it All Down
  • Source: source:yudkowsky.shut-it-all-down
  • Whole-source citation

Sources cited (1)

• Pausing AI Developments Isn't Enough. We Need to Shut it All Down

about (2)

• AI development pause
• compute governance

mentions (5)

• AI existential risk
• AI governance
• AI race dynamics
• artificial superintelligence
• first critical try