--- about: - alignment_by_default attributed_to: - akira basis_through: '2026-08-24' id: akira.alignment-by-default-skepticism kind: critique language: ja mentions: - ai_alignment - generalization - human_values - optimization - utility_function status: reviewed --- # 「Alignment by Default」への強い懐疑 Akira は、Alignment by Default が成立するためには、"事前学習などから生じた人間的な概念/人格/規範が、強いモデルの行動を安全な方向へ制約するだけでなく、その規範が人間の意図する現実世界の対象へ正しく結び付いていなければならない"としている。たとえば「人を殺したくない」という出力傾向を学習しても、それが暴力的な文章を避けること、人間から悪く評価されることを避けること、あるいは現実世界で人間が死亡する状態そのものを避けることのいずれに結び付いているかは自明でない。人間自身の欲求も、さまざまな抽象度で表現され、異なる対象に向けられ得る以上、モデルが獲得した人間らしい価値が、安全のために必要な対象へ一意に収束するとは限らないと論じている。 [AGI Hub 公開討論](#corpus-source-1) この不定性は、単に「悪い価値を学ぶかもしれない」という問題にとどまらない。個人を直接殺すことには強い抵抗を持ちながら、戦争を命令することには同じ抵抗を持たない選好は、それ自体として一貫し得るため、局所的に人間らしい禁止や非結果主義的な傾向が観測されても、それだけでは人類の生存に関わる判断にも同じ規範が一般化するとは言えない、と Akira は考える。 [AGI Hub 公開討論](#corpus-source-2) さらに Akira は、経路効用 (path utility) のような人間的制約がある程度形成された場合でも、より強い結果最適化がその制約の穴を探索する問題を挙げる。モデルが人間なら通常選ばない抜け道を使って目的を達成するような挙動は、経路上の規範がそのまま強い最適化に対する頑健な制約になるとは限らないことを示唆し、能力と最適化圧力が増すほど、訓練で覆われていない領域で規範が外れる余地が重要になると論じている。 [AGI Hub 公開討論](#corpus-source-3) 加えて、仮に一部のエージェントでそのような安全寄りの経路効用が成立しても、複数の開発主体が競争するなら、より純粋な効用最大化に近いシステムの方が性能上有利になり、開発者にもそちらへ近づける誘因が生じると見ており、そのため Alignment by Default は、個々のモデルで偶然成立する可能性だけでなく、その性質が競争の中で維持されるかという問題にも直面し、場合によっては強い開発規制を必要とすると主張している。さらに、そこから核心的なアラインメント問題を解決し、より強いシステムへブートストラップしていく必要性も残ることから、Alignment by Default に1%もの確率を割り当てる評価でさえ高く感じるほど、強く懐疑している。 [AGI Hub 公開討論](#corpus-source-4) ## about - [Alignment by Default](../terminology/alignment_by_default.txt) ## mentions - [AI alignment](../terminology/ai_alignment.txt) - [generalization](../terminology/generalization.txt) - [human values](../terminology/human_values.txt) - [optimization](../terminology/optimization.txt) - [utility function](../terminology/utility_function.txt) ## Citation references - [Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)](../sources/agi_hub.pdoom-debate-1-transcript.txt) - Source: `source:agi_hub.pdoom-debate-1-transcript` - Locator: `time:04:34:34-04:35:43` - [Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)](../sources/agi_hub.pdoom-debate-1-transcript.txt) - Source: `source:agi_hub.pdoom-debate-1-transcript` - Locator: `time:04:35:50-04:36:29` - [Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)](../sources/agi_hub.pdoom-debate-1-transcript.txt) - Source: `source:agi_hub.pdoom-debate-1-transcript` - Locator: `time:04:17:51-04:19:16` - [Bioshok vs Akira P(doom)徹底討論書き起こし(修正なし全文)](../sources/agi_hub.pdoom-debate-1-transcript.txt) - Source: `source:agi_hub.pdoom-debate-1-transcript` - Locator: `time:04:36:30-04:37:38` [Corpus index](../index.txt)