楽観的な前提を積み重ねるアラインメント計画への懐疑

Akiraは、成立させるために複数の不確かな楽観的前提を次々に置かなければならない計画には、低い成功確率しか割り当てるべきではないと考えている。個々の前提がそれぞれ論理的に可能であることと、それらすべてが現実の一つのシナリオで同時に成立することは別であり、こうした前提をいくつも積み重ねる必要がある時点で、未知の不確実性に一定の余地を残すとしても、計画の成功に高い確率を割り当てる根拠にはならない、と評価している。 AGI Hub 公開討論

特にAkiraは、「人間が途中でほとんど失敗しない」という前提を置くことを問題視している。弱AGIを使った短期ブートストラップの例では、プロンプトの誤りやコンテキスト汚染のような単純なヒューマンエラーさえ起きないことが必要になると指摘し、さらに、人間が何も失敗しないという仮定を必要とする時点で、一般に計画全体の成功率はゼロに近くなると述べている。 AGI Hub 公開討論 AGI Hub 公開討論

ただし、Akira自身、条件間の依存があるため「掛け算は綺麗にいかない」と留保している。したがって核心は厳密な積の計算ではなく、成功に必要な条件を分解したとき、複数の脆い前提と実行上の失敗可能性が同時に残る計画に、高い成功確率を割り当てることへの懐疑にある。 AGI Hub 公開討論

Citation references

• Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)
  • Source: source:agi_hub.pdoom-debate-1-transcript
  • Locator: time:01:24:52-01:25:08

• Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)
  • Source: source:agi_hub.pdoom-debate-1-transcript
  • Locator: time:01:19:31-01:20:11

• Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)
  • Source: source:agi_hub.pdoom-debate-1-transcript
  • Locator: time:01:31:20-01:32:13

• Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)
  • Source: source:agi_hub.pdoom-debate-1-transcript
  • Locator: time:01:32:31-01:34:05

Sources cited (1)

• Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)

about (1)

• automated alignment

mentions (4)

• AI alignment
• AI development pause
• artificial general intelligence
• weak AGI