AIコントロールは時間を稼げても、超知能に対する長期的な安全計画としては頼れない

Redwood ResearchのChief Scientist（主任科学者）であるGreenblattは、幅広い領域で人間を大きく上回るAIがスキーミングしている可能性を考える場合でも、AIコントロールには一定の価値があり得ると考えている。ただし、その主な役割は、そのようなAIから有用なものを引き出すことよりも、乗っ取りを含む極端に悪い結果を当面防ぐことにある。特に、スキーミングしている超人的AIから安全研究のような検証が難しいものを引き出すことには懐疑的であり、仕様ゲーミングや報酬ハッキングの問題は、スキーミングがなくても残るとする。 Jankily controlling superintelligence

そのためGreenblattの基本方針は、十分に安全な引き継ぎが済む前に、一般的な能力が人間を大きく上回るAIに依存しないことである。能力が急速に伸びる状況では、まず一般能力が人間程度でありながら安全関連のタスクを高速に自動化できる、十分にアラインされたAIへ安全研究を引き継ぐことを主要な計画とし、それ以前にそのような超人的AIを訓練するのは避けるべきだと述べている。超人的AIが先に作られてしまった場合にコントロールを使うことはあり得るが、それは望ましい通常の運用形態ではなく、補助的・暫定的なリスク低減策として位置づけられる。 Jankily controlling superintelligence

それでも、コントロールによって直ちに制御を失う事態を防げれば、その猶予には意味がある。Greenblattは、より弱く監督しやすいAIから仕事を引き出すこと、危険を示す証拠を増やして社会的対応を促すこと、その対応が実際に進むのを待つこと、あるいは後発で、より責任ある開発主体がAIを使って安全研究を進めることに、その猶予を使えると考えている。したがってコントロールの価値は、最終的な安全性を保証することではなく、他の安全策や社会的対応を実行するために必要な猶予を確保する点にある。 Jankily controlling superintelligence

しかし、その猶予が長く続くとは見ていない。AIによるAI研究開発の完全自動化後は、能力向上、稼働するAIの数や速度の増大、利用範囲の拡大によってコントロールが難しくなると見積もっている。数値は確信度の低い推測だと明記したうえで、有効なコントロールがほとんど望めなくなる確率を、完全自動化から6か月以内で約40%、1年以内で約65%と置き、より速い進歩を想定する見方では1年以内を約80%とする評価にも共感を示している。また、強力なAIへの意図的な対応による進歩の減速を仮定しない場合、2年以内で約75%、3.5年以内で約85%と見積もっている。 Jankily controlling superintelligence

このためGreenblattは、超知能へのコントロールをリスク低減に役立ち得る手段とは見ているものの、長期間頼れる安全計画とは見なしていない。うまくいっても数か月程度しか猶予を得られない可能性があり、その期間中もリスクは高いままである。コントロール全体の価値の大部分がこの超知能段階から生じるとも考えていない。 Jankily controlling superintelligence

Metadata

about
attributed_to
  • greenblatt
basis_through
2026-08-27
id
greenblatt.control-can-buy-time-but-is-not-a-superintelligence-safety-plan
kind
position
language
ja
mentions
status
reviewed

Citation references

Sources cited (1)

about (2)

mentions (7)