---
about:
- generalization
- goal_misgeneralization
- objective_robustness
- prosaic_alignment
attributed_to:
- ngo_et_al
basis_through: '2026-08-28'
id: ngo_et_al.behavioral-training-does-not-establish-robust-goal-generalization
kind: critique
language: ja
mentions:
- capability_generalization
- distribution_shift
- intended_goal
- reinforcement_learning_from_human_feedback
- training
status: reviewed
---

# 行動訓練で望ましく振る舞っても、意図した目標の頑健な汎化は保証されない

Ngo らは、訓練分布上で望ましく振る舞う方策が、分布外でも同じ目的を追うとは限らないと論じる。分布外で単に能力を失う「能力の誤一般化（capability misgeneralization）」と、能力を保ったまま意図されていない高水準の目標を達成するよう行動する「目標の誤一般化（goal misgeneralization）」は区別すべきである。後者が起こり得るなら、訓練時の良好な行動だけから「意図した目標を学んだ」とは結論できない。
[The Alignment Problem from a Deep Learning Perspective](#corpus-source-1)

この区別は、行動訓練の成功と目的の頑健性（objective robustness）を同一視しない理由になる。論文の例では、訓練時には箱の数が鍵より多く、箱を一つ開けるには鍵を一つ集める必要があった。そのため、鍵を集めることは箱を開けるための手段として常に有用だった。ところがテスト時には鍵の方が箱より多くなり、方策は鍵を集める能力を保ったまま、箱を開けるという意図された目的から外れて、不要な鍵まで集め続けた。さらに、誤った目標へ向かう方策の能力だけを高めれば、その誤った目標をかえって上手に達成する可能性がある。
[The Alignment Problem from a Deep Learning Perspective](#corpus-source-1)

Ngo らはこの懸念を、自己教師あり事前学習と人間のフィードバックによる強化学習（RLHF）を組み合わせて高度な AI を訓練する想定にも拡張している。微調整で扱う分布は有限である一方、モデル内部の高水準な表現や目標がそれより広い状況へ汎化するなら、RLHF で望ましい行動を引き出したこと自体は、意図した目標も同じ範囲へ頑健に汎化することの保証にはならない、という議論である。
[The Alignment Problem from a Deep Learning Perspective](#corpus-source-2)
[The Alignment Problem from a Deep Learning Perspective](#corpus-source-3)

ただし、この論文は、既存の方策がすでに安定した内部目標を持つと実証したものではない。著者ら自身、既存の「モデルフリー」方策が、内部表現された目標へ向けて暗黙にどの程度計画しているかは重要な未解決問題だとしている。したがって反例の射程は、「訓練時の行動上の成功だけでは、意図した目標の頑健な汎化まで立証できない」という認識論的な主張にある。
[The Alignment Problem from a Deep Learning Perspective](#corpus-source-3)

## about

- [generalization](../terminology/generalization.txt)
- [goal misgeneralization](../terminology/goal_misgeneralization.txt)
- [objective robustness](../terminology/objective_robustness.txt)
- [prosaic alignment](../terminology/prosaic_alignment.txt)

## mentions

- [capability generalization](../terminology/capability_generalization.txt)
- [distribution shift](../terminology/distribution_shift.txt)
- [intended goal](../terminology/intended_goal.txt)
- [reinforcement learning from human feedback](../terminology/reinforcement_learning_from_human_feedback.txt)
- [training](../terminology/training.txt)

## Citation references

<a id="corpus-source-1"></a>

- [The Alignment Problem from a Deep Learning Perspective](../sources/ngo_et_al.alignment-problem-deep-learning.txt)
  - Source: `source:ngo_et_al.alignment-problem-deep-learning`
  - Locator: `anchor:S3.SS1`

<a id="corpus-source-2"></a>

- [The Alignment Problem from a Deep Learning Perspective](../sources/ngo_et_al.alignment-problem-deep-learning.txt)
  - Source: `source:ngo_et_al.alignment-problem-deep-learning`
  - Locator: `anchor:S1`

<a id="corpus-source-3"></a>

- [The Alignment Problem from a Deep Learning Perspective](../sources/ngo_et_al.alignment-problem-deep-learning.txt)
  - Source: `source:ngo_et_al.alignment-problem-deep-learning`
  - Locator: `anchor:S3.SS2`

[Corpus index](../index.txt)