---
about:
- coherent_extrapolated_volition
- corrigibility
attributed_to:
- yudkowsky
basis_through: '2026-08-24'
id: yudkowsky.cev-sovereign-vs-corrigible-agi
kind: position
language: ja
mentions:
- ai_alignment
- alignment_target
- artificial_general_intelligence
- human_values
- instrumental_convergence
status: reviewed
---

# CEV 型 Sovereign と訂正可能な AGI は異なる安全化戦略である

Yudkowsky が 2004 年に提案した coherent extrapolated volition (CEV) は、人類がより多くを知り、より速く考え、より望ましいあり方へ成長した場合の volition を外挿し、それらの volition がどこで収束し、どのように整合するかを反映させる構想である。彼は CEV を完成した未来像そのものというより、何を望むべきかを人類の外挿された volition に委ねるための initial dynamic として位置づけていた。
[Coherent Extrapolated Volition](#corpus-source-1)
[Coherent Extrapolated Volition](#corpus-source-2)

後の戦略的整理では、Sovereign は人間から継続的な steering を受けず、自らの preference に従って現実へ働きかける autonomous AGI とされる。この種のシステムを安全にするには、プログラマと AI の意図が対立した場合にも、AI の判断を信頼でき、外部の off-switch や制約に安全性を依存しないほどの total alignment が必要になる。Yudkowsky は CEV をそのような autonomous superintelligence の alignment target の候補と位置づける一方、first try で狙うべき対象ではないとも述べている。
[Autonomous AGI](#corpus-source-3)

これに対し `AGI Ruin` でいう corrigible AGI は、人間の価値を最初から完全に共有することを前提とせず、目標設定が不完全でも人類を排除せず、人間による訂正を受け入れることで安全性を保とうとする別の方針である。Yudkowsky は両者を fundamentally different approaches として区別し、CEV 型 Sovereign は人間の実際の価値を最初の AGI で学習・メタ学習することの複雑さ、corrigible AGI は、corrigibility が、道具的収束によって生じる典型的な目標追求の傾向と緊張するため、それぞれ別の理由で難しいと評価している。したがって違いは単なる alignment target の選択ではなく、十分に正しい目的を先に得ることで安全を確保するのか、不完全な目的のままでも後から訂正できる性質を確保するのか、という安全化戦略の違いにある。
[AGI Ruin: A List of Lethalities](#corpus-source-4)

## about

- [Coherent Extrapolated Volition](../terminology/coherent_extrapolated_volition.txt)
- [corrigibility](../terminology/corrigibility.txt)

## mentions

- [AI alignment](../terminology/ai_alignment.txt)
- [alignment target](../terminology/alignment_target.txt)
- [artificial general intelligence](../terminology/artificial_general_intelligence.txt)
- [human values](../terminology/human_values.txt)
- [instrumental convergence](../terminology/instrumental_convergence.txt)

## Citation references

<a id="corpus-source-1"></a>

- [Coherent Extrapolated Volition](../sources/yudkowsky.coherent-extrapolated-volition.txt)
  - Source: `source:yudkowsky.coherent-extrapolated-volition`
  - Locator: `page:5-6`

<a id="corpus-source-2"></a>

- [Coherent Extrapolated Volition](../sources/yudkowsky.coherent-extrapolated-volition.txt)
  - Source: `source:yudkowsky.coherent-extrapolated-volition`
  - Locator: `page:10`

<a id="corpus-source-3"></a>

- [Autonomous AGI](../sources/yudkowsky.autonomous-agi.txt)
  - Source: `source:yudkowsky.autonomous-agi`
  - Whole-source citation

<a id="corpus-source-4"></a>

- [AGI Ruin: A List of Lethalities](../sources/yudkowsky.agi-ruin.txt)
  - Source: `source:yudkowsky.agi-ruin`
  - Locator: `item:24`

[Corpus index](../index.txt)