---
about:
- corrigibility
attributed_to:
- yudkowsky
basis_through: '2026-08-24'
id: yudkowsky.corrigibility-is-anti-natural
kind: position
language: ja
mentions:
- distribution_shift
- generalization
- instrumental_convergence
- optimization
- self_preservation
status: reviewed
---

# 訂正可能性は一般的な目標追求から自然には生じない

Yudkowsky が corrigibility と呼ぶのは、システムを最初から完全には正しく設計できなかった場合にも、人間による停止・修正・方針変更を戦略的に妨げず、それらを受け入れ続けるための motivational property である。彼はこれを、弱い段階で人間に質問したり指示を受け入れたりする value learning と区別しており、現在の目標が正しいと十分に確信した後でも訂正を許すこと、特に alignment そのものが失敗していた場合にも訂正可能であることを重視する。
[Shah and Yudkowsky on alignment failures](#corpus-source-1)

この性質を Yudkowsky が anti-natural とみなす理由は、多様な領域での成功を通じて強化される単純で有用な最適化パターンと、停止や目標変更を妨げない corrigibility とが緊張しやすいと考えるからである。MIRI は、期待効用最大化と両立しながら、停止を妨げも誘発もしない簡潔な定式化を探したが成功せず、Yudkowsky はその経験も根拠に、weak-safe な領域から strong-lethal な領域に至るまで、能力と最適化は汎化する一方で、 corrigibility は同じようには汎化しないことを強く懸念している。
[Shah and Yudkowsky on alignment failures](#corpus-source-2)
[AGI Ruin: A List of Lethalities](#corpus-source-3)

また Yudkowsky は、corrigibility が安全網として機能するには、新しい状況や能力水準へ移っても維持されなければならないとする。corrigibility の目的は、完全にはアラインされていないシステムについても、より危険な条件で反復的にテスト・修正できる余地を残すことにある。そのため、訓練時には訂正可能に見える振る舞いが、能力の向上や新しい状況への移行で崩れるなら、安全網としての役割を果たせない。とりわけ、訓練によって得られるのが訂正可能性そのものではなく、訓練中だけうまく見える脆い代理的な振る舞いにとどまり、システムがより賢く強力になったときに意図と異なる方向へ汎化する可能性を問題視している。
[Why Corrigibility is Hard and Important](#corpus-source-4)

## about

- [corrigibility](../terminology/corrigibility.txt)

## mentions

- [distribution shift](../terminology/distribution_shift.txt)
- [generalization](../terminology/generalization.txt)
- [instrumental convergence](../terminology/instrumental_convergence.txt)
- [optimization](../terminology/optimization.txt)
- [self-preservation](../terminology/self_preservation.txt)

## Citation references

<a id="corpus-source-1"></a>

- [Shah and Yudkowsky on alignment failures](../sources/yudkowsky.shah-alignment-failures.txt)
  - Source: `source:yudkowsky.shah-alignment-failures`
  - Locator: `item:20.2`

<a id="corpus-source-2"></a>

- [Shah and Yudkowsky on alignment failures](../sources/yudkowsky.shah-alignment-failures.txt)
  - Source: `source:yudkowsky.shah-alignment-failures`
  - Locator: `item:21.1`

<a id="corpus-source-3"></a>

- [AGI Ruin: A List of Lethalities](../sources/yudkowsky.agi-ruin.txt)
  - Source: `source:yudkowsky.agi-ruin`
  - Locator: `item:23`

<a id="corpus-source-4"></a>

- [Why Corrigibility is Hard and Important (i.e. "Whence the high MIRI confidence in alignment difficulty?")](../sources/raemon_yudkowsky_soares.corrigibility-hard-important.txt)
  - Source: `source:raemon_yudkowsky_soares.corrigibility-hard-important`
  - Locator: `anchor:Intelligent_Usually_Implies_Incorrigible`

[Corpus index](../index.txt)