misalignment
The condition or degree in which an AI system's specified objective, learned goals, optimization, or behavior diverges from the human values, intentions, interests, or other target objectives it is intended to serve.
Metadata
- aliases
- en
- AI misalignment
- concept_id
- misalignment
- preferred
- en
- misalignment
- ja
- ミスアラインメント
- relations
- relations
- prerequisite
- status
- active
Documents: about (4)
- ミスアラインドな研究AIは、人間の意図ではなく研究AI自身の目標にアラインする方法を開発し得る
- 狭いタスクでファインチューニングしても、影響がそのタスク内に限られるとは限らない
- 測定しやすい代理指標の最適化により、人間は一度の決定的な支配権の移行がなくても徐々に制御を失い得る
- 現在のAIに見られるミスアラインメントは、将来の深刻な問題を示唆する