弱い監督者でも、強いモデルの潜在能力の一部を引き出せる場合がある

OpenAIのweak-to-strong generalization研究は、弱い監督によって強いモデルを一般に制御できることを示したものではなく、人間が超人的AIを監督する問題の一部を現在のモデルで検討するための限定的な実験である。小さいモデルが生成した不完全なラベルで、より大きい事前学習済みモデルを訓練し、強いモデルが弱い監督者の誤りをそのまま模倣するのではなく、すでに持つ潜在能力を使って監督者を上回れるかを調べる。この設定は、将来、人間が自分より強いAIを監督する状況の一側面を模したものとして位置づけられている。 Weak-to-strong generalization

実験では、強いモデルを弱い監督に単純に従わせるのではなく、必要に応じて監督者と異なる答えを高い確信度で出せるようにする手法を使うと、複数の設定でweak-to-strong generalizationが改善した。NLPタスクでは、GPT-2レベルのモデルでGPT-4を監督すると、性能は概ねGPT-3とGPT-3.5の間に達し、弱い監督だけでもGPT-4の潜在能力のかなりの部分を引き出せたとOpenAIは報告している。これは、弱いラベルが強いモデルの到達可能な性能をそのまま上限にするとは限らず、潜在能力の一部を引き出せる場合があることを示す概念実証である。 Weak-to-strong generalization

一方で、OpenAI自身もこの結果には重要な限界があると明記している。同じ手法はChatGPTの選好データでは機能せず、追加の工夫がなければ、RLHFのような単純な人間監督は超人的モデルに対して十分にはスケールしない可能性が示唆された。また、現在の「弱いモデルが強いモデルを監督する」実験と、将来の「人間が超人的モデルを監督する」状況には重要な違いがある。将来のモデルの方が弱い人間の誤りを模倣しやすいなら、weak-to-strong generalizationはむしろ難しくなり得るとされる。 Weak-to-strong generalization Weak-to-strong generalization

したがって、ここから支持されるのは、「限定されたweak-to-strongの設定では、弱い監督でも強いモデルの潜在能力の一部を引き出せ、弱い監督から得られる性能を改善する手法もある」という狭い主張である。 Weak-to-strong generalization

弱い監督だけで超人的システムを確実にアラインできることや、スケーラブル・オーバーサイトの問題が解決したことまで示すものではない。 Weak-to-strong generalization

Citation references

• Weak-to-strong generalization
  • Source: source:openai.weak-to-strong-generalization
  • Locator: anchor:Our_setup

• Weak-to-strong generalization
  • Source: source:openai.weak-to-strong-generalization
  • Locator: anchor:Our_results

• Weak-to-strong generalization
  • Source: source:openai.weak-to-strong-generalization
  • Locator: anchor:Research_opportunities

Sources cited (1)

• Weak-to-strong generalization

about (1)

• weak-to-strong generalization

mentions (2)

• capability elicitation
• scalable oversight