evaluation
The process of assessing an AI or machine-learning system against specified criteria, tasks, datasets, human judgments, or metrics to estimate capabilities, quality, safety, robustness, or other properties, generally without using the evaluated examples to update the system.
Metadata
- aliases
- en
- AI eval
- AI evals
- AI evaluation
- AI evaluations
- eval
- evals
- model eval
- model evals
- model evaluation
- model evaluations
- ja
- AI評価
- モデル評価
- concept_id
- evaluation
- preferred
- en
- evaluation
- ja
- 評価
- relations
- relations
- status
- active
Documents: mentions (3)
- 評価認識が先に伸びると、資源獲得の有用性を学ぶ頃にはアラインメント偽装が可能になり得る
- アラインメント研究の自動化は、研究AIが意図的に妨害しなくても失敗し得る
- アラインメントは、失敗が致命的になる分布シフト後にも汎化しなければならない
narrower (5)
prerequisite_of (7)
- benchmark
- capability evaluation
- control evaluation
- debate
- evaluation awareness
- sandbagging
- scalable oversight