訂正可能性 (corrigibility) は一般的な目標追求から自然には生じない
Yudkowskyが訂正可能性 (corrigibility) と呼ぶのは、システムを最初から完全には正しく設計できなかった場合にも、人間による停止・修正・方針変更を戦略的に妨げず、それらを受け入れ続けるための動機に関する性質である。彼はこれを、弱い段階で人間に質問したり指示を受け入れたりする価値学習と区別しており、現在の目標が正しいと十分に確信した後でも訂正を許すこと、特にアラインメントそのものが失敗していた場合にも訂正可能であることを重視する。 Shah and Yudkowsky on alignment failures
この性質をYudkowskyが一般的な目標追求からは自然に生じにくい（anti-natural）とみなす理由は、多様な領域での成功を通じて強化される単純で有用な最適化パターンと、停止や目標変更を妨げない訂正可能性とが緊張しやすいと考えるからである。MIRIは、期待効用最大化と両立しながら、停止を妨げも誘発もしない簡潔な定式化を探したが成功せず、Yudkowskyはその経験も根拠に、弱く安全なシステムを扱う領域から、人類に致命的な被害を与え得る強いシステムを扱う領域に至るまで、能力と最適化は汎化する一方で、訂正可能性は同じようには汎化しないことを強く懸念している。 Shah and Yudkowsky on alignment failures AGI Ruin: A List of Lethalities
またYudkowskyは、訂正可能性が安全網として機能するには、新しい状況や能力水準へ移っても維持されなければならないとする。訂正可能性の目的は、完全にはアラインされていないシステムについても、より危険な条件で反復的にテスト・修正できる余地を残すことにある。そのため、訓練時には訂正可能に見える振る舞いが、能力の向上や新しい状況への移行で崩れるなら、安全網としての役割を果たせない。とりわけ、訓練によって得られるのが訂正可能性そのものではなく、訓練中だけうまく見える脆い代理的な振る舞いにとどまり、システムがより賢く強力になったときに意図と異なる方向へ汎化する可能性を問題視している。 Why Corrigibility is Hard and Important
Metadata
- about
- attributed_to
- yudkowsky
- basis_through
- 2026-08-24
- id
- yudkowsky.corrigibility-is-anti-natural
- kind
- position
- language
- ja
- mentions
- status
- reviewed
Citation references
- Shah and Yudkowsky on alignment failures
- Source:
source:yudkowsky.shah-alignment-failures - Locator:
item:20.2
- Source:
- Shah and Yudkowsky on alignment failures
- Source:
source:yudkowsky.shah-alignment-failures - Locator:
item:21.1
- Source:
- AGI Ruin: A List of Lethalities
- Source:
source:yudkowsky.agi-ruin - Locator:
item:23
- Source:
- Why Corrigibility is Hard and Important (i.e. "Whence the high MIRI confidence in alignment difficulty?")
- Source:
source:raemon_yudkowsky_soares.corrigibility-hard-important - Locator:
anchor:Intelligent_Usually_Implies_Incorrigible
- Source:
Sources cited (3)
- Why Corrigibility is Hard and Important (i.e. "Whence the high MIRI confidence in alignment difficulty?")
- AGI Ruin: A List of Lethalities
- Shah and Yudkowsky on alignment failures