共通の重み・データ・訓練過程を持つ研究AIでは、研究結果の誤りや不確実性が相関し得る

Bowkisらは、自動化されたアラインメント研究から得られる複数の結果を、互いに独立した証拠として扱えるとは限らないと論じている。たとえば同じ研究AIが、次世代モデルがスキーミングしていないことを支持する論文を10本作ったとしても、それらが同じ前提や方法に依存していれば、10件の独立した確認にはならない。個々の研究結果がそれぞれ正しくても、その正しさに関する不確実性は相関し得る。その相関を無視して結果を総合的な安全性評価にまとめれば、実際よりも確信の強い評価になり得る。 Automated alignment is harder than you think

自動化された研究では、とくに研究AI同士に共通する構造がこの依存を強め得る。著者らは、共通の重み、モデル構成、訓練データ、訓練過程を相関の源として挙げており、同じ報酬モデルで学習したエージェントなら、その報酬モデルの系統的な偏りも共有し得る。相関は研究AIだけに由来するわけではなく、人間レビュアーに共通する偏りや、研究分野で共有される仮定・方法論・概念枠組みからも生じる。しかも、こうした依存関係には見つけやすいものだけでなく、二者間の相関には現れない高次の依存や、能力の変化に伴って突然現れる依存もあり得る。 Automated alignment is harder than you think

この点は、スケーラブル・オーバーサイトにも別の難しさをもたらす。複雑な安全性評価を小さな下位問題へ分解できても、各下位問題の出力が確率推定値で、しかも互いに相関しているなら、最後にそれらを正しく再結合するには相関構造まで扱う必要がある。Bowkisらは、既存の代表的なスケーラブル・オーバーサイト手法では、この種の相関した不確実性を十分に扱えておらず、総合的な安全性評価に用いるには相関構造を正確にモデル化できる必要があると指摘している。 Automated alignment is harder than you think

重要なのは、共有された訓練や研究上の前提によって証拠間の独立性が弱まり得るため、研究量が増えたことを、そのまま安全性を支持する独立した証拠の増加とはみなせない点である。依存を正しくモデル化できなければ、個々の研究結果に明白な誤りがなくても、集約の段階だけでも危険な過信が生じ得る。 Automated alignment is harder than you think

Citation references

• Automated alignment is harder than you think
  • Source: source:bowkis_et_al.automated-alignment-harder-than-you-think
  • Locator: anchor:S3.SS3.SSS2

• Automated alignment is harder than you think
  • Source: source:bowkis_et_al.automated-alignment-harder-than-you-think
  • Locator: anchor:S4.SS2.SSS2

Sources cited (1)

• Automated alignment is harder than you think

about (1)

• automated alignment

mentions (4)

• safety case
• scalable oversight
• scheming
• training