--- about: - p_doom attributed_to: - christiano basis_through: '2026-08-25' id: christiano.doom-is-serious-but-not-modal kind: prediction language: ja mentions: - ai_existential_risk - catastrophic_risk - loss_of_control - risk status: reviewed --- # 「doom」を単一確率に畳まず、複数の重大なリスクを区別して見積もる Christiano は、「AI による非常に悪い結果の確率」を一つの数字で表すと、その数字が何を数えているのかが曖昧になり、混乱を招くと考えている。特に、人類が死亡することと未来が不可逆的に悪化すること、AI が支配権を奪う takeover とそれ以外の破局、そして AI に直接殺されることと、強力な AI の登場後の急速な技術変化の中で別の原因により死亡することを区別している。そのため、彼の見解を単一の p(doom) だけで要約するのは不正確である。 [My views on “doom”](#corpus-source-1) 2023 年 4 月時点の best guesses として、Christiano は AI takeover の確率を 22% とし、その内訳を、人間が作った AI が takeover する 15% と、その AI がさらに賢い AI を作った後に takeover が起きる 7% に分けている。また、強力な AI の登場から 10 年以内に人類の大半が死亡する確率を 20%、同じ 10 年以内に人類の未来が何らかの形で不可逆的に損なわれる確率を 46% としている。これらは無視できない大きさだが、少なくともこの投稿で定義した各出来事をほぼ確実なものとして扱う見積もりではない。 [My views on “doom”](#corpus-source-2) 同時に Christiano は、これらの数値を精密なモデルの出力として提示していない。数字は信念を伝えるための粗い best guesses であり、日によって変動し得ること、おおむね半桁程度の精度しかないものとして扱うべきことを明記している。さらに、自分の専門的な仕事に直接関係するのは「人間が作った AI が takeover する 15%」の見積もり程度であり、それ以外の数値については、自分の見積もりを過度に重視しないよう述べている。したがって、これらは 2023 年 4 月時点の Christiano の粗い見積もりとして扱うべきであり、将来にわたって固定された確率値として提示されたものではない。 [My views on “doom”](#corpus-source-3) ## about - [p(doom)](../terminology/p_doom.txt) ## mentions - [AI existential risk](../terminology/ai_existential_risk.txt) - [catastrophic risk](../terminology/catastrophic_risk.txt) - [loss of control](../terminology/loss_of_control.txt) - [risk](../terminology/risk.txt) ## Citation references - [My views on “doom”](../sources/christiano.my-views-on-doom.txt) - Source: `source:christiano.my-views-on-doom` - Locator: `anchor:Two_distinctions` - [My views on “doom”](../sources/christiano.my-views-on-doom.txt) - Source: `source:christiano.my-views-on-doom` - Locator: `anchor:My_best_guesses` - [My views on “doom”](../sources/christiano.my-views-on-doom.txt) - Source: `source:christiano.my-views-on-doom` - Locator: `anchor:Other_caveats` [Corpus index](../index.txt)