alignment problem
The problem of making sufficiently advanced AI systems pursue or produce outcomes that match intended human goals, values, or other chosen targets rather than optimizing unintended objectives; it is the central problem studied by AI alignment research.
Metadata
- aliases
- en
- AI alignment problem
- the alignment problem
- ja
- アラインメント問題
- concept_id
- alignment_problem
- preferred
- en
- alignment problem
- ja
- AIアラインメント問題
- relations
- relations
- prerequisite
- status
- active
Documents: mentions (4)
- Yudkowskyとの相違は、危険に至る経路とそれまでに取れる対応の見通しにある
- アラインメントは最初の危険な試行で成功する必要がある
- アラインメントのような新規かつ高リスクなシステムの設計には、既知の失敗を塞ぐ以上のセキュリティ・マインドセット (Security Mindset) が必要である
- 現在と大きく変わらない条件で人間を上回るAIを作れば、人類絶滅が最も可能性の高い結果となる