--- about: - ai_control attributed_to: - akira basis_through: '2026-08-24' id: akira.control-has-narrow-survival-credit kind: critique language: ja mentions: - ai_development_pause - ai_governance - p_doom status: reviewed --- # Control が生存確率を押し上げる世界線は狭い Akiraは、AI Control の成功率を、そのまま生存確率を押し上げる要因として掛け合わせる扱いに疑問を呈している。敵対的な挙動を検知し、それをきっかけに開発停止期間を長期化させる経路自体はあり得ると認める一方で、Control が実際に人類の生存確率を高めるのは、モデル上のどのシナリオなのかを明示して考える必要があるとしている。 [AGI Hub 公開討論](#corpus-source-1) そのうえで Akira は、Control が十分うまく機能して危険な挙動を封じ込められている間は、むしろ社会や政治を大きく動かすほどの警告にはなりにくいと指摘する。「Control 下で阻止された」という程度の出来事では大きな話題にならず、既存の弱い警告では動かなかったオーバートン・ウィンドウを大きく動かすには、Control が破られる寸前だったと分かるような、非常に強い警告が必要になる。つまり、"Control による当面の封じ込めが、そのまま強い規制や長期停止につながる政治的シグナルになるわけではない。" という見方である。 [AGI Hub 公開討論](#corpus-source-2) このため Akira は、Control が強いことで人類が実際に助かるシナリオ自体の確率はもともと小さく、Control の有無が総合的な生存確率を大きく変えるとは考えにくいと結論づけている。Control が何の価値も持たないという主張ではなく、危険の検知・封じ込めが最終的な長期停止や規制につながるという追加条件まで満たされた場合に限って、人類の生存確率を大きく押し上げる、という限定である。 [AGI Hub 公開討論](#corpus-source-3) [AGI Hub 公開討論](#corpus-source-4) ## about - [AI control](../terminology/ai_control.txt) ## mentions - [AI development pause](../terminology/ai_development_pause.txt) - [AI governance](../terminology/ai_governance.txt) - [p(doom)](../terminology/p_doom.txt) ## Citation references - [Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)](../sources/agi_hub.pdoom-debate-1-transcript.txt) - Source: `source:agi_hub.pdoom-debate-1-transcript` - Locator: `time:03:17:24-03:19:36` - [Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)](../sources/agi_hub.pdoom-debate-1-transcript.txt) - Source: `source:agi_hub.pdoom-debate-1-transcript` - Locator: `time:03:22:10-03:24:15` - [Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)](../sources/agi_hub.pdoom-debate-1-transcript.txt) - Source: `source:agi_hub.pdoom-debate-1-transcript` - Locator: `time:03:19:07-03:19:36` - [Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)](../sources/agi_hub.pdoom-debate-1-transcript.txt) - Source: `source:agi_hub.pdoom-debate-1-transcript` - Locator: `time:03:24:22-03:25:59` [Corpus index](../index.txt)