弱AGIによる短期アラインメント・ブートストラップへの懐疑

Akiraは、数ヶ月程度の開発停止中に弱AGIを使って本格的なアラインメント問題を解決し、より強いAGIやASIへ安全にブートストラップする経路が成立するには、複数の厳しい条件を同時に満たす必要があると考えている。弱AGIが敵対的にミスアラインされていないことに加え、人間側でもプロンプトミスやコンテキスト汚染のような失敗が起きず、短期間で有効なアラインメント策を得て正しく実装でき、さらに開発競争や自己改善の過程でも安全なAIの系統が淘汰されないことまで必要になる、という分解である。 AGI Hub 公開討論

この短期経路の成功確率について、Akiraは「1%未満」と見積もると述べ、生存確率を1%と見るだけでも、かなり強気な見積もりだとしている。とりわけ、弱AGIと人間が数ヶ月でコア・アラインメントをブートストラップできると仮定すると、問題を解けるだけの能力があることと、そのAI自体が危険な方向へ進まないことを同時に要求するため、核心的な難しさを後段へ移しただけになり得ると指摘する。 AGI Hub 公開討論 AGI Hub 公開討論 AGI Hub 公開討論

ただしAkiraは、あらゆる後続段階を同じ程度に悲観しているわけではない。強いAGIのコア・アラインメントを「奇跡的に」ブートストラップできたと仮定すれば、そこから先の成功確率には60%程度を見積もってもよいと述べており、主なボトルネックを初期のコア・アラインメント獲得に置いている。また、数ヶ月の停止から成功に至るシナリオとしては、主に二つの場合を想定している。一つは、アラインメント上の理論的ブレークスルーが起きる場合である。もう一つは、比較的安全な弱AGIが、アラインメントの難しさについて人間を説得できるだけの証拠を示し、停止期間そのものが大幅に延びる場合である。 AGI Hub 公開討論 AGI Hub 公開討論

ただし、「数ヶ月の開発停止からうまくいくシナリオ」は、実際にはいずれも停止期間が延長され、「数ヶ月の停止」ではなくなるシナリオだとも述べている。 AGI Hub 公開討論 AGI Hub 公開討論

Citation references

• Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)
  • Source: source:agi_hub.pdoom-debate-1-transcript
  • Locator: time:01:19:31-01:20:42

• Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)
  • Source: source:agi_hub.pdoom-debate-1-transcript
  • Locator: time:01:19:11-01:20:31

• Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)
  • Source: source:agi_hub.pdoom-debate-1-transcript
  • Locator: time:01:21:17-01:22:40

• Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)
  • Source: source:agi_hub.pdoom-debate-1-transcript
  • Locator: time:01:25:51-01:26:23

• Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)
  • Source: source:agi_hub.pdoom-debate-1-transcript
  • Locator: time:01:22:50-01:24:40

• Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)
  • Source: source:agi_hub.pdoom-debate-1-transcript
  • Locator: time:01:42:11-01:42:43

Sources cited (1)

• Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)

about (2)

• automated alignment
• weak AGI

mentions (4)

• AI alignment
• AI development pause
• artificial general intelligence
• artificial superintelligence