「Alignment by Default」への強い懐疑

Akiraは、Alignment by Defaultが成立するためには、「事前学習などから生じた人間的な概念・人格・規範が、強いモデルの行動を安全な方向へ制約するだけでなく、その規範が人間の意図する現実世界の対象へ正しく結び付いていなければならない」としている。たとえば「人を殺したくない」という出力傾向を学習しても、それが暴力的な文章を避けること、人間から悪く評価されることを避けること、あるいは現実世界で人間が死亡する状態そのものを避けることのいずれに結び付いているかは自明でない。人間自身の欲求も、さまざまな抽象度で表現され、異なる対象に向けられ得る以上、モデルが獲得した人間らしい価値が、安全のために必要な対象へ一意に収束するとは限らないと論じている。 AGI Hub 公開討論

この不定性は、単に「悪い価値を学ぶかもしれない」という問題にとどまらない。個人を直接殺すことには強い抵抗を持ちながら、戦争を命令することには同じ抵抗を持たない選好は、それ自体として一貫し得るため、局所的に人間らしい禁止や非結果主義的な傾向が観測されても、それだけでは人類の生存に関わる判断にも同じ規範が一般化するとは言えない、とAkiraは考える。 AGI Hub 公開討論

さらにAkiraは、経路効用（path utility）のような人間的制約がある程度形成された場合でも、より強い結果最適化がその制約の穴を探索する問題を挙げる。モデルが人間なら通常選ばない抜け道を使って目的を達成するような挙動は、経路上の規範がそのまま強い最適化に対する頑健な制約になるとは限らないことを示唆し、能力と最適化圧力が増すほど、訓練で覆われていない領域で規範が外れる余地が重要になると論じている。 AGI Hub 公開討論

加えてAkiraは、一部のエージェントでそのような安全性に寄与する経路効用が成立しても、複数の開発主体が競争するなら、より純粋な効用最大化に近いシステムの方が性能上有利になると見ている。その場合、開発者にも自らのシステムをそちらへ近づける誘因が生じるとしている。このため、Alignment by Defaultが個々のモデルで偶然成立するかだけでなく、その性質が競争の中で維持されるかも問題になるとし、場合によっては強い開発規制が必要だと主張している。さらに、そこから核心的なアラインメント問題を解決し、より強いシステムへブートストラップしていく必要性も残ることから、Alignment by Defaultに1%もの確率を割り当てる評価でさえ高く感じるほど、強く懐疑している。 AGI Hub 公開討論

Metadata

about
attributed_to
  • akira
basis_through
2026-08-24
id
akira.alignment-by-default-skepticism
kind
critique
language
ja
mentions
status
reviewed

Citation references

Sources cited (1)

about (1)

mentions (5)