scalable oversight
The problem and family of techniques for providing reliable supervision or training signals for AI systems when their outputs are too difficult for unaided human overseers to evaluate directly, especially as the systems become more capable than the overseers.
Metadata
- aliases
- ja
- スケーラブルオーバーサイト
- concept_id
- scalable_oversight
- preferred
- en
- scalable oversight
- ja
- スケーラブル・オーバーサイト
- relations
- relations
- broader
- prerequisite
- related
- status
- active
Documents: about (1)
Documents: mentions (5)
- Debateはスーパーアラインメントの問題を解決できる能力水準では成立しにくい
- アラインメント研究の自動化は、研究AIが意図的に妨害しなくても失敗し得る
- 共通の重み・データ・訓練過程を持つ研究AIでは、研究結果の誤りや不確実性が相関し得る
- 弱い監督者でも、強いモデルの潜在能力の一部を引き出せる場合がある
- weak-to-strongで高い性能が出ても、弱い監督者が知らない領域でアラインメントが保たれるとは限らない