「doom」を単一確率に畳まず、複数の重大なリスクを区別して見積もる

Christianoは、「AIによる非常に悪い結果の確率」を一つの数字で表すと、その数字が何を数えているのかが曖昧になり、混乱を招くと考えている。特に、人類が死に至ることと未来が不可逆的に悪化すること、AIによる支配権の奪取とそれ以外の破局、そしてAIに直接殺されることと、強力なAIの登場後の急速な技術変化の中で別の原因により死亡することを区別している。そのため、彼の見解を単一のp(doom)だけで要約するのは不正確である。 My views on “doom”

2023年4月時点で最も妥当と考える見積もりとして、ChristianoはAIによる支配権の奪取の確率を22%とし、その内訳を、人間が作ったAIが支配権を奪取する15%と、そのAIがさらに賢いAIを作った後に支配権の奪取が起きる7%に分けている。また、強力なAIの登場から10年以内に人類の大半が死亡する確率を20%、同じ10年以内に人類の未来が何らかの形で不可逆的に損なわれる確率を46%としている。これらは無視できない大きさだが、少なくともこの投稿で定義した各出来事をほぼ確実なものとして扱う見積もりではない。 My views on “doom”

同時にChristianoは、これらの数値を精密なモデルの出力として提示していない。数字は信念を伝えるための粗い見積もりであり、日によって変動し得ること、おおむね半桁程度の精度しかないものとして扱うべきことを明記している。さらに、自分の専門的な仕事に直接関係するのは「人間が作ったAIが takeover (支配権を奪取する) 15%」の見積もり程度であり、それ以外の数値については、自分の見積もりを過度に重視しないよう述べている。したがって、これらは2023年4月時点のChristianoの粗い見積もりとして扱うべきであり、将来にわたって固定された確率値として提示されたものではない。 My views on “doom”

Citation references

• My views on “doom”
  • Source: source:christiano.my-views-on-doom
  • Locator: anchor:Two_distinctions

• My views on “doom”
  • Source: source:christiano.my-views-on-doom
  • Locator: anchor:My_best_guesses

• My views on “doom”
  • Source: source:christiano.my-views-on-doom
  • Locator: anchor:Other_caveats

Sources cited (1)

• My views on “doom”

about (1)

• p(doom)

mentions (4)

• AI existential risk
• catastrophic risk
• loss of control
• risk