能力はアラインメントより遠くまで汎化しうる

Yudkowskyは、能力とアラインメント特性が同じ仕方で汎化すると期待すべきではないと考える。Shahとの対話では、分野をまたぐ課題の成功に有用な思考パターンは、AIが直面するさまざまな問題に共通する構造として存在し、多様な課題で成功するよう訓練するほど繰り返し選択される一方、人間がAIに追求させたい特定の価値が、問題そのものに同じように埋め込まれているわけではなく、単純な境界を持つとも限らない、と説明している。この非対称性のため、広い問題解決能力を獲得させる圧力が、問題解決を方向づける価値や目標まで同じ強さで形作るとは期待できないとしている。 Shah and Yudkowsky on alignment failures

AGI Ruin では別の角度から、世界についての誤った予測には現実からの訂正圧がある一方、内部の効用や目標には、それに対応する一意の正解が同じようには存在せず、訓練範囲では整合して見える複数の内部解が分布外で分岐し得ると論じている。 AGI Ruin: A List of Lethalities

さらに、一般知能には多様な課題へ共通して働く比較的単純な中核構造があり得る一方、アラインメント側にも同様に単純で外部最適化が発見しやすい中核があるとは限らない、と論じる。したがって、ここで主張されているのは、能力が汎化するからといってアラインメント特性も同程度に汎化すると推論することはできない、という非対称性についてであり、能力が汎化すれば必ず特定の悪い目標が生じる、という決定論的な主張ではない。 AGI Ruin: A List of Lethalities

Citation references

• Shah and Yudkowsky on alignment failures
  • Source: source:yudkowsky.shah-alignment-failures
  • Locator: item:21.1

• AGI Ruin: A List of Lethalities
  • Source: source:yudkowsky.agi-ruin
  • Locator: item:21

• AGI Ruin: A List of Lethalities
  • Source: source:yudkowsky.agi-ruin
  • Locator: item:22

Sources cited (2)

• AGI Ruin: A List of Lethalities
• Shah and Yudkowsky on alignment failures

about (1)

• capability generalization

mentions (6)

• AI alignment
• distribution shift
• generalization
• human values
• inner alignment
• optimization