AI alignment
The overarching task and research topic of developing sufficiently advanced AI systems such that running or deploying them produces outcomes that are good according to the intended human objectives, whether expressed in terms of human values, interests, and goals or formalized through an objective or utility function.
Metadata
- aliases
- en
- alignment
- ja
- アラインメント
- アライメント
- 整合
- AIアライメント
- concept_id
- ai_alignment
- preferred
- en
- AI alignment
- ja
- AIアラインメント
- relations
- relations
- broader
- prerequisite
- related
- status
- active
Documents: about (2)
Documents: mentions (22)
- AARを使ってASIアラインメントを解くには、十分に強い研究AIを先にアラインする必要がある
- 「Alignment by Default」への強い懐疑
- 望ましい振る舞いは人間を重視する目標の証拠ではない
- Debateはスーパーアラインメントの問題を解決できる能力水準では成立しにくい
- 評価認識が先に伸びると、資源獲得の有用性を学ぶ頃にはアラインメント偽装が可能になり得る
- ミスアラインドな研究AIは、人間の意図ではなく研究AI自身の目標にアラインする方法を開発し得る
- 楽観的な前提を積み重ねるアラインメント計画への懐疑
- 弱AGIによる短期アラインメント・ブートストラップへの懐疑
- Yudkowskyとの相違は、危険に至る経路とそれまでに取れる対応の見通しにある
- クランチタイムではAIの労働力を防御用途に振り向け、移行を大幅に遅らせる
- AIコントロールは時間を稼げても、超知能に対する長期的な安全計画としては頼れない
- 現在のAIに見られるミスアラインメントは、将来の深刻な問題を示唆する
- 能力が訓練分布の外へ急速に汎化する局面で、アラインメント特性は同程度には汎化しない可能性がある
- アラインメントは、失敗が致命的になる分布シフト後にも汎化しなければならない
- 能力はアラインメントより遠くまで汎化しうる
- 能力と目的は別の軸である
- CEV型Sovereignと訂正可能なAGIは異なる安全化戦略である
- 解釈可能性は危険の診断に役立っても、それだけでアラインメントの解決策にはならない
- 観測された従順さだけでは、内部の目的や欺瞞の有無までは分からない
- pivotal actには、世界を大きく変えられるほど強いシステムのアラインメントが必要になる
- 資源が豊富であることだけから、アンアラインドな超知能が人類のために資源を残すとは推論できない
- アラインメントのような新規かつ高リスクなシステムの設計には、既知の失敗を塞ぐ以上のセキュリティ・マインドセット (Security Mindset) が必要である
broader (1)
narrower (7)
- Alignment by Default
- automated alignment
- corrigibility
- inner alignment
- objective robustness
- outer alignment
- prosaic alignment
prerequisite (2)
prerequisite_of (10)
- alignment audit
- Alignment by Default
- alignment failure
- alignment faking
- alignment problem
- automated alignment
- Friendly AI
- inner alignment
- outer alignment
- prosaic alignment