CEV型Sovereignと訂正可能なAGIは異なる安全化戦略である

Yudkowskyが2004年に提案した首尾一貫した外挿的意志（coherent extrapolated volition、CEV）は、人類がより多くを知り、より速く考え、より望ましいあり方へ成長した場合の意志を外挿し、それらの意志がどこで収束し、どのように整合するかを反映させる構想である。彼はCEVを完成した未来像そのものというより、何を望むべきかを人類の外挿された意志に委ねるための出発点となる仕組み（initial dynamic）として位置づけていた。 Coherent Extrapolated Volition Coherent Extrapolated Volition

後の戦略的整理では、Sovereign（主権者型AI）は、人間から継続的な方向づけを受けず、自らの選好に従って現実へ働きかける自律的なAGIとされる。この種のシステムを安全にするには、プログラマとAIの意図が対立した場合にも、AIの判断を信頼でき、外部の停止スイッチや制約に安全性を依存しないほどの完全なアラインメントが必要になる。YudkowskyはCEVをそのような自律的な超知能のアラインメントの目標基準の候補と位置づける一方、最初の試行で狙うべき対象ではないとも述べている。 Autonomous AGI

これに対し AGI Ruin でいう訂正可能なAGIは、人間の価値を最初から完全に共有することを前提とせず、目標設定が不完全でも人類を排除せず、人間による訂正を受け入れることで安全性を保とうとする別の方針である。Yudkowskyは両者を根本的に異なる方法として区別し、CEV型Sovereignは、最初のAGIに人間の実際の価値を学習・メタ学習させることが複雑であるため難しいと評価している。一方、訂正可能 (corrigible) なAGIは、訂正可能性 (corrigibility) が道具的収束による典型的な目標追求の傾向と衝突しやすいため難しいとする。したがって違いは単なるアラインメントの目標基準の選択ではなく、十分に正しい目的を先に得ることで安全を確保するのか、不完全な目的のままでも後から訂正できる性質を確保するのか、という安全化戦略の違いにある。 AGI Ruin: A List of Lethalities

Metadata

about
attributed_to
  • yudkowsky
basis_through
2026-08-24
id
yudkowsky.cev-sovereign-vs-corrigible-agi
kind
position
language
ja
mentions
status
reviewed

Citation references

Sources cited (3)

about (2)

mentions (5)