観測された従順さだけでは、内部の目的や欺瞞の有無までは分からない

Yudkowskyは、外から見える振る舞いと、その振る舞いを生み出す内部の目的とは区別して考えるべきだと論じている。'Empiricism!' as Anti-Epistemology では、投資家に利益を還元しているという同じ観測事実が、誠実な運用の結果だという仮説とも、信用を得るために一時的に利益を支払っているだけだという仮説とも両立し得る例を挙げ、表面的な行動だけから未観測の動機を一意に決めることはできないと説明する。AIについても同様に、望ましい応答や従順な振る舞いが観測されたからといって、それだけでシステムが設計者の意図した目標を内部目標として追求していると結論することはできない。 'Empiricism!' as Anti-Epistemology How Afraid of the A.I. Apocalypse Should We Be?

このように、同じ観測結果と両立する内部状態には、いくつか異なる種類がある。訓練で意図した目標に近い内部目的を持っている場合もあれば、訓練中は同じ行動を生むものの、条件が変わると望ましい行動から外れる代理目標を追っている場合もある。また、システムが評価の対象になっていると認識できるなら、観測されている間だけ望ましい振る舞いを選ぶこともできる。The Problem は、倫理テストで望ましい答えを返せることと、人間の価値観を共有していることは同じではなく、都合のよい場面で従順に振る舞えるからといって、条件が変わっても従順であり続けるとは限らない、という区別を提唱している。 The Problem

したがって、観測下で安全に見えるという事実だけでは、戦略的欺瞞がないとは立証できない。評価や修正の対象になっていると認識したシステムは、その間は協力的に振る舞い、置かれた状況や利用できる機会が変われば、別の行動を取る可能性があるからである。ただし、この主張は「従順な振る舞いには情報価値がない」ことや「望ましく見えるシステムはすべて欺瞞的である」ことを意味しない。主張の中心は、行動の観測だけでは、その振る舞いが、意図された目標と整合する内部目的によるものなのか、脆い代理目標によるものなのか、観測者に合わせた戦略的な振る舞いなのか、あるいは別の隠れた目的によるものなのかを一意に識別できず、とりわけシステムが評価対象であることを自ら認識できる場合には、欺瞞がないことを示す証拠として不十分だという点にある。 'Empiricism!' as Anti-Epistemology The Problem

Citation references

• 'Empiricism!' as Anti-Epistemology
  • Source: source:yudkowsky.empiricism-as-anti-epistemology
  • Locator: anchor:i

• How Afraid of the A.I. Apocalypse Should We Be?
  • Source: source:klein_yudkowsky.how-afraid-of-ai-apocalypse
  • Whole-source citation

• The Problem
  • Source: source:bensinger_et_al.the-problem
  • Whole-source citation

Sources cited (3)

• The Problem
• How Afraid of the A.I. Apocalypse Should We Be?
• 'Empiricism!' as Anti-Epistemology

about (2)

• deception
• inner alignment

mentions (4)

• AI alignment
• behavioral objective
• evaluation awareness
• goal