p(doom)は開発停止・テイクオフ・規制の条件に依存する

Akiraは、自身のp(doom)を、時点や前提条件にかかわらない単一の固定値としては扱っていない。討論の冒頭では、このままAI開発が進み、有効な規制が実現しない場合のp(doom)はほぼ1だという趣旨で立場を説明している。また、ショートタイムラインかつ比較的速いテイクオフで、なおかつ一切の規制が入らないという条件では、具体的に想定できる生存経路がほとんど残らず、残るのは主としてモデルそのものが予想外に誤っている可能性のような「未知の未知」だと述べている。 AGI Hub 公開討論 AGI Hub 公開討論

一方、ファストテイクオフを前提に、開発停止期間ごとの生存シナリオを検討した場面では、Akiraは数ヶ月から数年程度の停止ではアラインメント成功率を低く見積もり、5年・10年といった長い停止で初めて成功率が大きく上がるという形を提示した。その場での試算では、楽観的に見ても生存確率は約6.5%で、そのほぼ全てが5年以上の開発停止によるものだとしている。したがって、この約6.5%の生存確率や約95%のp(doom)は「そのテイクオフシナリオ」での試算であり、無条件の総合値として読むべきではない。 AGI Hub 公開討論 AGI Hub 公開討論 AGI Hub 公開討論

このためAkiraは、p(doom)を公表・比較するときには、ガバナンスを含む総合値と、ガバナンスが実現しない場合の条件付き総合値などを分け、どの条件を置いた数値なのかを明示すべきだと提案している。規制や開発停止が実施されることを暗黙の前提とした数値だけを提示すると、聞き手が「現状のまま突き進む場合」のリスク評価と取り違えるおそれがある、というのがその理由である。 AGI Hub 公開討論

Citation references

• Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)
  • Source: source:agi_hub.pdoom-debate-1-transcript
  • Locator: time:00:11:41-00:12:00

• Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)
  • Source: source:agi_hub.pdoom-debate-1-transcript
  • Locator: time:01:44:01-01:45:25

• Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)
  • Source: source:agi_hub.pdoom-debate-1-transcript
  • Locator: time:02:29:06-02:29:21

• Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)
  • Source: source:agi_hub.pdoom-debate-1-transcript
  • Locator: time:02:31:02-02:31:26

• Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)
  • Source: source:agi_hub.pdoom-debate-1-transcript
  • Locator: time:02:33:09-02:34:21

• Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)
  • Source: source:agi_hub.pdoom-debate-1-transcript
  • Locator: time:06:10:55-06:12:08

Sources cited (1)

• Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)

about (1)

• p(doom)

mentions (3)

• AI development pause
• AI governance
• takeoff speed