---
about:
- pivotal_act
attributed_to:
- yudkowsky
basis_through: '2026-08-28'
id: yudkowsky.pivotal-act-requires-aligning-a-system-capable-of-a-large-intervention
kind: position
language: ja
mentions:
- ai_alignment
- ai_existential_risk
- artificial_general_intelligence
- capability
status: reviewed
---
# pivotal actには、世界を大きく変えられるほど強いシステムのアラインメントが必要になる
Yudkowsky は、将来ほかの主体が未アラインな AGI を開発して破局を招くのを防ぐには、危険なことができないほど弱い AI だけでは足りず、世界の戦略状況を決定的に変えるpivotal actを実行できるほど強いシステムをアラインする必要があると論じる。先行する主体が弱いシステムだけを使っていても、後からより強いシステムを作る主体が現れ得るためである。彼の想定では、AGI を持つ主体がまだ少数のうちに、その後の未アラインな AGI 開発による破局を防げるほど大きく状況を変える必要がある。このため、弱いシステムを受動的に安全に保つだけでは足りず、その規模の介入を実行できるシステムを、介入の過程で人類を破局させないようアラインしなければならない。
[AGI Ruin: A List of Lethalities](#corpus-source-1)
[AGI Ruin: A List of Lethalities](#corpus-source-2)
[Ngo and Yudkowsky on alignment difficulty](#corpus-source-3)
Yudkowsky が例に挙げる「すべての GPU を焼く／溶かす」は、実際に推奨しているpivotal actではない。ほかの AGI 開発を止められる介入に必要な能力の規模を示すために、意図的にやや過大な例として用いている。2021 年の Ngo との対話では、自己複製するナノシステムを開放環境で動かして GPU を"溶かす"案は、複雑な現実世界で正しく動かすためにアラインすべき細部が多すぎるとして、よりアラインしやすい別の介入を望むと述べている。したがって中心的な主張は GPU の破壊策そのものではなく、戦略状況を決定的に変えられるだけの能力と、その能力を安全に使うためのアラインメントを同時に実現する必要がある、という点にある。
[Ngo and Yudkowsky on alignment difficulty](#corpus-source-3)
[AGI Ruin: A List of Lethalities](#corpus-source-2)
Arbital の説明でも、pivotal actは、単に望ましい効果を持つ行為一般ではなく、その後のゲームの性質を大きく変え、長期的な帰結に大きな差をもたらす行為を指すよう、意図的に高い閾値を置いた用語である。Limited AI を考えるときの中心的な問いも、「あるpivotal actは実行できるが、それ以外の危険なことはできない AI を作れるか」である。絶対に安全でもピボタルな用途を持たないシステムを作るだけなら簡単だが、それではこの戦略上の要件を満たさない。
[Pivotal act](#corpus-source-4)
[Pivotal act](#corpus-source-5)
このため Yudkowsky は、受動的に安全でいられるほど弱い一方で、後から現れる他の AGI による破局を防げるような「弱いpivotal act（pivotal weak act）」は存在しないと主張する。もし今の人間だけではその介入を実行できず、AI を待たなければならないのなら、その AI は人間が自力では思いつけない方法を見つけ、現実世界に大きな影響を及ぼせるだけの能力を持つことになる。したがって、システムの弱さそのものを安全性の根拠にしながら、将来の AGI リスクを決定的に変えられるだけの介入能力も持たせる、という組み合わせは成り立たないという見方である。
[AGI Ruin: A List of Lethalities](#corpus-source-6)
したがってこの立場は、「AI 安全に役立つ小さな介入はすべて無価値だ」という一般論ではない。Yudkowsky が説く、放置すれば他の主体が危険な AGI を作り得るという戦略的前提の下では、将来の破局を防ぐのに足りる介入には一定以上の能力が必要であり、その能力を持つシステムは「弱いから安全」なのではなく、危険な能力を安全な方向へ使えるようアラインされていなければならない、という主張である。
[Pivotal act](#corpus-source-7)
[AGI Ruin: A List of Lethalities](#corpus-source-1)
[AGI Ruin: A List of Lethalities](#corpus-source-6)
## about
- [pivotal act](../terminology/pivotal_act.txt)
## mentions
- [AI alignment](../terminology/ai_alignment.txt)
- [AI existential risk](../terminology/ai_existential_risk.txt)
- [artificial general intelligence](../terminology/artificial_general_intelligence.txt)
- [capability](../terminology/capability.txt)
## Citation references
- [AGI Ruin: A List of Lethalities](../sources/yudkowsky.agi-ruin.txt)
- Source: `source:yudkowsky.agi-ruin`
- Locator: `item:5`
- [AGI Ruin: A List of Lethalities](../sources/yudkowsky.agi-ruin.txt)
- Source: `source:yudkowsky.agi-ruin`
- Locator: `item:6`
- [Ngo and Yudkowsky on alignment difficulty](../sources/yudkowsky_ngo.alignment-difficulty.txt)
- Source: `source:yudkowsky_ngo.alignment-difficulty`
- Locator: `item:1.1`
- [Pivotal act](../sources/yudkowsky.pivotal-act.txt)
- Source: `source:yudkowsky.pivotal-act`
- Locator: `anchor:Reason_for_guardedness`
- [Pivotal act](../sources/yudkowsky.pivotal-act.txt)
- Source: `source:yudkowsky.pivotal-act`
- Locator: `anchor:Centrality_to_limited_AI_proposals`
- [AGI Ruin: A List of Lethalities](../sources/yudkowsky.agi-ruin.txt)
- Source: `source:yudkowsky.agi-ruin`
- Locator: `item:7`
- [Pivotal act](../sources/yudkowsky.pivotal-act.txt)
- Source: `source:yudkowsky.pivotal-act`
- Locator: `anchor:Dealing_a_deck_of_cards_metaphor`
[Corpus index](../index.txt)