automated alignment
An AI-assisted alignment strategy in which AI systems materially perform or accelerate work needed to solve alignment, ranging from tools that assist human researchers to more autonomous systems doing original alignment research or helping align successor systems. The term concerns using AI to advance alignment and does not by itself imply that the assisting systems are safely aligned, that their research can be reliably evaluated, or that automation is a viable route to a complete alignment solution.
Metadata
- aliases
- en
- AI aligning AI
- AI-assisted alignment
- automated AI alignment
- automated alignment research
- ja
- AI支援アラインメント
- concept_id
- automated_alignment
- preferred
- en
- automated alignment
- ja
- アラインメント研究の自動化
- relations
- relations
- broader
- prerequisite
- related
- status
- active
Documents: about (6)
- AARを使ってASIアラインメントを解くには、十分に強い研究AIを先にアラインする必要がある
- ミスアラインドな研究AIは、人間の意図ではなく研究AI自身の目標にアラインする方法を開発し得る
- 楽観的な前提を積み重ねるアラインメント計画への懐疑
- 弱AGIによる短期アラインメント・ブートストラップへの懐疑
- アラインメント研究の自動化は、研究AIが意図的に妨害しなくても失敗し得る
- 共通の重み・データ・訓練過程を持つ研究AIでは、研究結果の誤りや不確実性が相関し得る