AI control
An AI-safety approach that aims to prevent unacceptable outcomes from powerful AI systems even when those systems are misaligned and intentionally try to subvert the safety measures applied to them.
Metadata
- aliases
- en
- AI control research
- ja
- AI制御
- concept_id
- ai_control
- preferred
- en
- AI control
- ja
- AIコントロール
- relations
- relations
- broader
- prerequisite
- status
- active
Documents: about (2)
Documents: mentions (3)
- Untrusted monitoringは共謀や欺瞞によって破られうる
- クランチタイムではAIの労働力を防御用途に振り向け、移行を大幅に遅らせる
- コントロールに基づく安全性ケースには、能力の十分な引き出しと、評価・外挿の保守性が必要になる