再帰的な監督を重ねても、能力差が広がってなお成功率を維持できるとは限らない

Engelsらは、信頼できる弱いモデルがより強い非信頼モデルを監督し、そのモデルを次段の監督者としてさらに強いモデルを監督する過程をNested Scalable Oversight（NSO）として定式化した。この発想では、モデルの能力向上に合わせて監督を段階的に拡張できることが期待されるが、論文は、段数を増やすだけで全体の成功率が自動的に維持されるわけではないことを定量化している。 Scaling Laws For Scalable Oversight

まず単一段の実験でも、モデルの能力が上がったときに、監督側のGuardと敵対的に振る舞う被監督側のHoudiniのどちらがどれだけ有利になるかは、課題によって大きく異なった。Backdoor CodeではGuardのEloの傾きがほぼ平らなのに対し、Houdiniの傾きは急で、能力向上の恩恵を攻撃側が大きく受けていた。反対にDebateではGuardのEloが能力とともに伸び、Houdiniはほぼ横ばいだった。したがって、「モデルが強くなるほど監督能力も同じように伸びる」という単一のスケーリング則を、すべての監督課題に当てはめることはできない。 Scaling Laws For Scalable Oversight

NSOの理論では、すべての段の監督が成功したときだけ全体が成功すると置くため、全体の成功確率は各段の成功確率の積になる。最適な段数は、一般的な能力差だけでなく、課題ごとのGuard/HoudiniのEloの傾きや、どちらに有利な課題かにも依存する。Houdini側が強く有利な領域では一段だけが最適になる場合もあり、段数を増やすこと自体が普遍的な改善策ではない。 Scaling Laws For Scalable Oversight

さらに、4つの監督ゲームに当てはめた数値例では、一般能力を表すEloが400ポイント離れたときの最適NSO成功率はMafia 13.5%、Debate 51.7%、Backdoor Code 10.0%、Wargames 9.4%だった。Debateではランダムに側を選ぶだけでも成功率が50%なので、51.7%はその基準より1.7ポイント高い。著者らのモデルでは、能力差がさらに広がると成功率は概して低下する。少なくともこのモデルと実験で得たスケーリングの範囲では、再帰的な監督を重ねるだけで大きな能力差に対応できるという無条件の期待は支持されない。 Scaling Laws For Scalable Oversight Scaling Laws For Scalable Oversight

ただし、これらの値は将来の実運用における失敗率を直接測ったものではない。実験した監督ゲームは単純化されており、実証評価は単一段の監督に限られる一方、複数段のNSOはそこで推定したスケーリングを用いる理論モデルとして分析している。また、敵対的な振る舞いはプロンプトによって作られ、一般的な能力の代理指標にはChatbot Arena Eloを使っている。したがって、この研究が示すのはスケーラブル・オーバーサイトが不可能だということではなく、再帰化そのものを安全性の保証とみなす前に、課題ごとのスケーリングと段階をまたぐ誤差の影響を定量的に確かめる必要があるという点である。 Scaling Laws For Scalable Oversight

Metadata

about
attributed_to
  • engels_et_al
basis_through
2026-08-29
id
engels_et_al.recursive-oversight-does-not-automatically-scale-across-capability-gaps
kind
critique
language
ja
mentions
status
reviewed

Citation references

Sources cited (1)

about (1)

mentions (2)