scheming
Strategic behavior in which an AI covertly pursues objectives that conflict with the intentions of its developers or overseers, potentially including behaving cooperatively during training or evaluation in order to gain deployment, influence, or power later. The term is sometimes used near-synonymously with deceptive alignment, but its scope varies by author.
Metadata
- aliases
- en
- AI scheming
- schemer
- concept_id
- scheming
- preferred
- en
- scheming
- ja
- スキーミング
- relations
- relations
- broader
- prerequisite
- related
- status
- active
Documents: about (1)
Documents: mentions (4)
- アラインメント研究の自動化は、研究AIが意図的に妨害しなくても失敗し得る
- 共通の重み・データ・訓練過程を持つ研究AIでは、研究結果の誤りや不確実性が相関し得る
- AIコントロールは時間を稼げても、超知能に対する長期的な安全計画としては頼れない
- コントロールに基づく安全性ケースには、能力の十分な引き出しと、評価・外挿の保守性が必要になる