クランチタイムではAIの労働力を防御用途に振り向け、移行を大幅に遅らせる

Cotraは、AI研究開発の自動化が始まってから人間をはるかに上回るAIに至るまでの「クランチタイム」では、増大したAIの労働力を能力向上から安全・防御用途へ大きく振り向け、明確な早期警戒が得られるなら移行自体も大幅に遅らせるべきだと提案している。彼女がクランチタイムと呼ぶのは、先端AI研究所で研究開発がほぼまたは完全に自動化され、能力向上が大きく加速し始める一方、AIがまだ制御不能なほど強力ではない移行局面である。Cotraのデフォルトの見通しでは、AI研究開発の自動化から人間をはるかに上回るAIまでが約12か月しかない可能性があり、そのような短い局面では、長い準備期間を要する課題よりも短期間で効果を出せる安全・防御策の重要性が増す。 80,000 Hours Podcast 80,000 Hours Podcast

その中心となるのが、増えたAIの労働力をさらなる能力向上だけに投入せず、次世代AIのアラインメントとコントロール、サイバー防御、バイオ防御、集団的意思決定や調整の改善など、AIがもたらすリスクへの対処・防御に大きく振り向けることである。初期の変革的AIを無条件に信頼できるとは想定せず、アラインメント、コントロール、解釈可能性などを組み合わせて、その出力を信頼して利用できる状態を作ることがこの戦略の重要な前提となる。AIがミスアラインしていれば、安全研究や防御作業に協力せず、かえって妨害する可能性があるためである。 80,000 Hours Podcast

Cotraはこの方針を、AIの能力向上に資源を注ぎ続けるか、全面的に停止するかという二択とは捉えていない。AIの労働力のほぼすべてをさらなる能力向上に使う状態から、能力向上への投入をゼロにする状態までには幅広い中間的な選択肢があり、その間で小規模な停止や資源配分の変更を繰り返し、安全に役立つ能力を伸ばしながら段階的に進められると考える。特に、明確な早期警戒によって「AI研究開発の自動化から人間をはるかに上回るAIまで約1年」という高速な移行が迫っていると分かった場合、Cotraはその移行に10年、15年、20年程度をかける方を選びたいと述べている。長期間完全に停止した後で一気に再開するより、各能力段階で必要な安全・ガバナンス作業を済ませながら少しずつ進む方が望ましい、という立場である。 80,000 Hours Podcast

この計画の最も起こりやすい失敗要因としてCotraが挙げるのは、AIを防御用途に使ううえでの技術上の限界よりもむしろ、競争圧力のために開発主体が十分なAIの労働力を安全用途へ実際には振り向けないことである。そのため、クランチタイム直前に大幅な組織転換を一度に迫るのではなく、AIが強くなるにつれて、社内の推論用計算資源のうち安全用途に充てる分を段階的に増やし、人間の労働やファインチューニングも含めて安全側への配分を徐々に引き上げておくことが望ましいとする。また、物理インフラの整備、国際協調に向けた社会的合意の形成、政府機関によるAI導入のように、立ち上げに長い時間を要するものはクランチタイム以前から準備すべきだとしている。 80,000 Hours Podcast 80,000 Hours Podcast