外部の目的関数は内部の目標を決定しない

Yudkowskyは、外部の損失関数を強く最適化することと、学習されたシステムが、その損失関数に忠実に対応する内部目標を持つことを別問題とみなす。Shahとの対話では、外部の損失関数に大量の最適化をかけても、その損失の忠実な内部表現が得られるとは限らず、学習過程は認知機構を探索する途中で見つけた改善を順に取り込むため、外部基準そのものを内部目的として複製するとは限らない、と説明している。 Shah and Yudkowsky on alignment failures

この見方の古い例が自然選択である。Yudkowskyは、自然選択が包括適応度を基準に人間を形成したにもかかわらず、人間の認知には包括適応度そのものを明示的に表象し、それを直接追求する欲求が組み込まれたわけではなく、食欲、性欲、社会的欲求など多数の近接的な動機へ分かれたと論じている。この例は、単純で一貫した外部最適化基準が、それをそのまま反映した内部目標を自動的に生むわけではないことを示すモデルとして使われている。 Thou Art Godshatter

AGI Ruin ではこの論点を機械学習のインナーアラインメントに適用し、単純で厳密な学習目的関数を十分に最適化しても、その概念自体を内部目標として持ち、能力上昇や分布シフト後にも同じ対象を追い続けることは保証されないとする。したがって、ここで否定されているのは、外部の目的と内部の目標の一致を自動的に推論できるという保証であり、あらゆる学習過程が必ず異なる目標を生むという主張ではない。 AGI Ruin: A List of Lethalities

Citation references

• Shah and Yudkowsky on alignment failures
  • Source: source:yudkowsky.shah-alignment-failures
  • Locator: item:20.2

• Thou Art Godshatter
  • Source: source:yudkowsky.thou-art-godshatter
  • Whole-source citation

• AGI Ruin: A List of Lethalities
  • Source: source:yudkowsky.agi-ruin
  • Locator: item:16

Sources cited (3)

• AGI Ruin: A List of Lethalities
• Shah and Yudkowsky on alignment failures
• Thou Art Godshatter

about (2)

• inner alignment
• training objective

mentions (4)

• distribution shift
• goal
• objective
• optimization