pivotal actには、世界を大きく変えられるほど強いシステムのアラインメントが必要になる
Yudkowskyは、将来ほかの主体が未アラインなAGIを開発して破局を招くのを防ぐには、危険なことができないほど弱いAIだけでは足りず、世界の戦略状況を決定的に変えるpivotal actを実行できるほど強いシステムをアラインする必要があると論じる。先行する主体が弱いシステムだけを使っていても、後からより強いシステムを作る主体が現れ得るためである。彼の想定では、AGIを持つ主体がまだ少数のうちに、その後の未アラインなAGI開発による破局を防げるほど大きく状況を変える必要がある。このため、弱いシステムを受動的に安全に保つだけでは足りず、その規模の介入を実行できるシステムを、介入の過程で人類に破局をもたらさないようアラインしなければならない。 AGI Ruin: A List of Lethalities AGI Ruin: A List of Lethalities Ngo and Yudkowsky on alignment difficulty
Yudkowskyが例に挙げる「すべてのGPUを焼く／溶かす」は、実際に推奨しているpivotal actではない。ほかのAGI開発を止められる介入に必要な能力の規模を示すために、意図的にやや過大な例として用いている。2021年のNgoとの対話では、自己複製するナノシステムを開放環境で動かしてGPUを「溶かす」案は、複雑な現実世界で正しく動かすためにアラインすべき細部が多すぎるとして、よりアラインしやすい別の介入を望むと述べている。したがって中心的な主張はGPUの破壊策そのものではなく、戦略状況を決定的に変えられるだけの能力と、その能力を安全に使うためのアラインメントを同時に実現する必要がある、という点にある。 Ngo and Yudkowsky on alignment difficulty AGI Ruin: A List of Lethalities
Arbitalの説明でも、pivotal actは、単に望ましい効果を持つ行為一般ではなく、その後のゲームの性質を大きく変え、長期的な帰結に大きな差をもたらす行為を指すよう、意図的に高い閾値を置いた用語である。Limited AIを考えるときの中心的な問いも、「あるpivotal actは実行できるが、それ以外の危険なことはできないAIを作れるか」である。絶対に安全でもピボタルな用途を持たないシステムを作るだけなら簡単だが、それではこの戦略上の要件を満たさない。 Pivotal act Pivotal act
このためYudkowskyは、受動的に安全でいられるほど弱い一方で、後から現れる他のAGIによる破局を防げるような「弱いpivotal act（pivotal weak act）」は存在しないと主張する。もし今の人間だけではその介入を実行できず、AIを待たなければならないのなら、そのAIは人間が自力では思いつけない方法を見つけ、現実世界に大きな影響を及ぼせるだけの能力を持つことになる。したがって、システムの弱さそのものを安全性の根拠にしながら、将来のAGIリスクを決定的に変えられるだけの介入能力も持たせる、という組み合わせは成り立たないという見方である。 AGI Ruin: A List of Lethalities
したがってこの立場は、「AI安全に役立つ小さな介入はすべて無価値だ」という一般論ではない。Yudkowskyが説く、放置すれば他の主体が危険なAGIを作り得るという戦略的前提の下では、将来の破局を防ぐのに足りる介入には一定以上の能力が必要であり、その能力を持つシステムは「弱いから安全」なのではなく、危険な能力を安全な方向へ使えるようアラインされていなければならない、という主張である。 Pivotal act AGI Ruin: A List of Lethalities AGI Ruin: A List of Lethalities
Metadata
- about
- attributed_to
- yudkowsky
- basis_through
- 2026-08-28
- id
- yudkowsky.pivotal-act-requires-aligning-a-system-capable-of-a-large-intervention
- kind
- position
- language
- ja
- mentions
- status
- reviewed
Citation references
- AGI Ruin: A List of Lethalities
- Source:
source:yudkowsky.agi-ruin - Locator:
item:5
- Source:
- AGI Ruin: A List of Lethalities
- Source:
source:yudkowsky.agi-ruin - Locator:
item:6
- Source:
- Ngo and Yudkowsky on alignment difficulty
- Source:
source:yudkowsky_ngo.alignment-difficulty - Locator:
item:1.1
- Source:
- Pivotal act
- Source:
source:yudkowsky.pivotal-act - Locator:
anchor:Reason_for_guardedness
- Source:
- Pivotal act
- Source:
source:yudkowsky.pivotal-act - Locator:
anchor:Centrality_to_limited_AI_proposals
- Source:
- AGI Ruin: A List of Lethalities
- Source:
source:yudkowsky.agi-ruin - Locator:
item:7
- Source:
- Pivotal act
- Source:
source:yudkowsky.pivotal-act - Locator:
anchor:Dealing_a_deck_of_cards_metaphor
- Source: