--- about: - automated_alignment - weak_agi attributed_to: - akira basis_through: '2026-08-24' id: akira.weak-agi-bootstrap-skepticism kind: critique language: ja mentions: - ai_alignment - ai_development_pause - artificial_general_intelligence - artificial_superintelligence status: reviewed --- # 弱AGIによる短期アラインメント・ブートストラップへの懐疑 Akira は、数ヶ月程度の開発停止中に弱AGIを使って本格的なアラインメント問題を解決し、より強いAGIやASIへ安全にブートストラップする経路が成立するには、複数の厳しい条件を同時に満たす必要があると考えている。弱AGIが敵対的にミスアラインされていないことに加え、人間側でもプロンプトミスやコンテキスト汚染のような失敗が起きず、短期間で有効なアラインメント策を得て正しく実装でき、さらに開発競争や自己改善の過程でも安全なAIの系統が淘汰されないことまで必要になる、という分解である。 [AGI Hub 公開討論](#corpus-source-1) この短期経路の成功確率について、Akira は「1%未満」と見積もると述べ、生存確率を1%と見るだけでも、かなり強気な見積もりだとしている。とりわけ、弱AGIと人間が数ヶ月でコア・アラインメントをブートストラップできると仮定すると、問題を解けるだけの能力があることと、そのAI自体が危険な方向へ進まないことを同時に要求するため、核心的な難しさを後段へ移しただけになり得ると指摘する。 [AGI Hub 公開討論](#corpus-source-2) [AGI Hub 公開討論](#corpus-source-3) [AGI Hub 公開討論](#corpus-source-4) ただし Akira は、あらゆる後続段階を同じ程度に悲観しているわけではない。強いAGIのコア・アラインメントを「奇跡的に」ブートストラップできたと仮定すれば、そこから先の成功確率には60%程度を見積もってもよいと述べており、主なボトルネックを初期のコア・アラインメント獲得に置いている。また、数ヶ月の停止から成功に至るシナリオとして具体的に想定できるのは、アラインメント上の飛躍的な理論的ブレークスルーが起きる場合か、比較的安全な弱AGIが、アラインメントの難しさについて人間を説得できるだけの証拠を示し、停止期間そのものが大幅に延びる場合を中心に考えている。 [AGI Hub 公開討論](#corpus-source-5) [AGI Hub 公開討論](#corpus-source-6) ただし、「数ヶ月の開発停止からうまくいくシナリオ」は、実際にはいずれも停止期間が延長され、「数ヶ月の停止」ではなくなるシナリオだとも述べている。 [AGI Hub 公開討論](#corpus-source-5) [AGI Hub 公開討論](#corpus-source-6) ## about - [automated alignment](../terminology/automated_alignment.txt) - [weak AGI](../terminology/weak_agi.txt) ## mentions - [AI alignment](../terminology/ai_alignment.txt) - [AI development pause](../terminology/ai_development_pause.txt) - [artificial general intelligence](../terminology/artificial_general_intelligence.txt) - [artificial superintelligence](../terminology/artificial_superintelligence.txt) ## Citation references - [Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)](../sources/agi_hub.pdoom-debate-1-transcript.txt) - Source: `source:agi_hub.pdoom-debate-1-transcript` - Locator: `time:01:19:31-01:20:42` - [Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)](../sources/agi_hub.pdoom-debate-1-transcript.txt) - Source: `source:agi_hub.pdoom-debate-1-transcript` - Locator: `time:01:19:11-01:20:31` - [Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)](../sources/agi_hub.pdoom-debate-1-transcript.txt) - Source: `source:agi_hub.pdoom-debate-1-transcript` - Locator: `time:01:21:17-01:22:40` - [Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)](../sources/agi_hub.pdoom-debate-1-transcript.txt) - Source: `source:agi_hub.pdoom-debate-1-transcript` - Locator: `time:01:25:51-01:26:23` - [Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)](../sources/agi_hub.pdoom-debate-1-transcript.txt) - Source: `source:agi_hub.pdoom-debate-1-transcript` - Locator: `time:01:22:50-01:24:40` - [Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)](../sources/agi_hub.pdoom-debate-1-transcript.txt) - Source: `source:agi_hub.pdoom-debate-1-transcript` - Locator: `time:01:42:11-01:42:43` [Corpus index](../index.txt)