アラインメントは最初の危険な試行で成功する必要がある
Yudkowskyは、AGIアラインメントの実務上の難しさの中心を、AGIを危険な能力水準で初めて運用する「最初の危険な試行（first critical try）」で破局的失敗を避ける必要があることに置いている。より弱いシステムでは失敗を観察して設計を更新できても、初めて人類規模の不可逆な損害を与え得る水準でアラインメントが破綻すれば、その失敗を通常の科学や工学のように次の試行へのフィードバックとして利用することができない。 AGI Ruin: A List of Lethalities
同時にYudkowskyは、超知能のアラインメントが原理的に不可能だとは主張していない。十分な時間と無制限の再試行があれば解決できると予想しており、問題は通常の科学が前提とする「失敗して学び、再試行する」過程を、失敗自体が終局的になり得る能力水準では使えないことだと説明している。したがって「最初の危険な試行」という論点は、論理的不可能性ではなく、最も重要な能力領域で通常の工学的なフィードバックの循環を利用できないという制約を指している。 Will superintelligent AI end the world?
Metadata
- about
- attributed_to
- yudkowsky
- basis_through
- 2026-08-24
- id
- yudkowsky.first-critical-try
- kind
- position
- language
- ja
- mentions
- status
- reviewed
Citation references
- AGI Ruin: A List of Lethalities
- Source:
source:yudkowsky.agi-ruin - Locator:
item:3
- Source:
- Will superintelligent AI end the world?
- Source:
source:yudkowsky.ted-superintelligent-ai - Locator:
time:00:03:34-00:04:12
- Source: