強力なAIが人類から不可逆的に支配権を奪う展開には相当な可能性がある

Christianoは、強力なAIシステムが意図的かつ不可逆的に人類から実質的な支配権を奪う展開には、相当な可能性があると見ている。また、この種の失敗は、人類が破壊的な物理技術によって自滅する経路よりも起こりやすいと述べている。 Where I agree and disagree with Eliezer

さらに、破局的なリスクを伴うAIシステムが近い将来に現れ得る一方、そうしたシステムが年間の人類存亡リスクを無視できない水準にまで高める段階になるまでは、その危険性について強い合意が形成されない可能性が高いと考えている。そのため、危険の到来を誰の目にも明らかにする「火災報知器（fire alarm）」に相当する警告が必ず存在するとは限らず、事前に明確な警告が得られることを前提にはできない。 Where I agree and disagree with Eliezer