generalization
The ability of a learned system to retain useful or intended performance on examples, situations, tasks, or distributions not identical to those used during training; failures can involve loss of capability or competent pursuit of an unintended goal.
Metadata
- aliases
- en
- generalisation
- concept_id
- generalization
- preferred
- en
- generalization
- ja
- 汎化
- relations
- relations
- broader
- prerequisite
- status
- active
Documents: about (3)
- 望ましい振る舞いは人間を重視する目標の証拠ではない
- 狭いタスクでファインチューニングしても、影響がそのタスク内に限られるとは限らない
- 行動訓練で望ましく振る舞っても、意図した目標の頑健な汎化は保証されない
Documents: mentions (7)
- 「Alignment by Default」への強い懐疑
- アラインメント研究の自動化は、研究AIが意図的に妨害しなくても失敗し得る
- 能力が訓練分布の外へ急速に汎化する局面で、アラインメント特性は同程度には汎化しない可能性がある
- アラインメントは、失敗が致命的になる分布シフト後にも汎化しなければならない
- 能力はアラインメントより遠くまで汎化しうる
- 能力と目的は別の軸である
- 訂正可能性 (corrigibility) は一般的な目標追求から自然には生じない