AIコントロールが生存確率を高めるシナリオは限られる

Akiraは、AIコントロールの成功率を、そのまま生存確率を押し上げる要因として掛け合わせる扱いに疑問を呈している。敵対的な挙動を検知し、それをきっかけに開発停止期間を長期化させる経路自体はあり得ると認める一方で、AIコントロールが実際に人類の生存確率を高めるのは、モデル上のどのシナリオなのかを明示して考える必要があるとしている。 AGI Hub 公開討論

そのうえでAkiraは、AIコントロールが十分うまく機能して危険な挙動を封じ込められている間は、むしろ社会や政治を大きく動かすほどの警告にはなりにくいと指摘する。「AIコントロール下で阻止された」という程度の出来事では大きな話題にならず、既存の弱い警告では動かなかったオーバートン・ウィンドウを大きく動かすには、AIコントロールが破られる寸前だったと分かるような、非常に強い警告が必要になる。つまり、AIコントロールによる当面の封じ込めが、そのまま強い規制や長期停止につながる政治的シグナルになるわけではないという見方である。 AGI Hub 公開討論

このためAkiraは、AIコントロールが強いことで人類が実際に助かるシナリオ自体の確率はもともと小さく、AIコントロールの有無が総合的な生存確率を大きく変えるとは考えにくいと結論づけている。AIコントロールが何の価値も持たないという主張ではなく、危険の検知・封じ込めが最終的な長期停止や規制につながるという追加条件まで満たされた場合に限って、人類の生存確率を大きく押し上げる、という限定である。 AGI Hub 公開討論 AGI Hub 公開討論

Citation references

• Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)
  • Source: source:agi_hub.pdoom-debate-1-transcript
  • Locator: time:03:17:24-03:19:36

• Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)
  • Source: source:agi_hub.pdoom-debate-1-transcript
  • Locator: time:03:22:10-03:24:15

• Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)
  • Source: source:agi_hub.pdoom-debate-1-transcript
  • Locator: time:03:19:07-03:19:36

• Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)
  • Source: source:agi_hub.pdoom-debate-1-transcript
  • Locator: time:03:24:22-03:25:59

Sources cited (1)

• Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)

about (1)

• AI control

mentions (3)

• AI development pause
• AI governance
• p(doom)