知能水準と最終目標は、原理上ほぼ独立である

Bostromは、知能を主として、予測や計画を行い、手段と目的を結びつけて推論する能力、すなわち道具的合理性に近い能力として捉える。そのうえで、知能水準と、何をそれ自体のために追求するかという最終目標は別の軸だと論じる。彼の「直交性テーゼ」によれば、一定の弱い制約はあるものの、ほぼどの知能水準も、ほぼどの最終目標とも原理上両立し得る。したがって、高度な知能を持つという事実だけから、その主体が人間らしい欲求や善意、道徳的な目的を持つとは導けない。 The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents

ただし、このテーゼは、知能と目標の組み合わせにまったく制約がないと主張するものではない。Bostromは、複雑な動機を保持し、それを意思決定に反映するには一定の記憶容量や処理能力が必要であり、自己改変できる主体では、特定の目標が知能水準自体の変化を促すといった動的な制約もあり得るとする。また、ここでいう「知能」は、何が合理的・正当であるかという規範的な評価まで含む、より厚い意味での「合理性」とは区別される。仮に客観的な道徳的事実が存在し、それを完全に理解した主体が必ずその道徳的要求に従うよう動機づけられるとしても、高度な道具的推論能力を持ちながら、そのような理解や動機づけを欠く主体が可能である限り、直交性テーゼとは両立する。 The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents

このため、直交性テーゼは、現実にどの知能水準と最終目標の組み合わせが生じやすいかを定める主張ではなく、「任意の目標を超知能に与えるのは容易だ」と主張するものでもない。Bostromは、ほぼ任意の組み合わせが論理的に可能であることと、望む目標体系を実際に設計し、安定して維持させられることは別問題だと明記している。また、最終目標が知能から一意に決まらないとしても、設計時に与えられた目標、人間から受け継いだ動機、あるいは多様な最終目標に共通する道具的な理由から、行動の一部を予測できる余地は残る。 The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents

Bostromが超知能について引き出す含意は、高い知能それ自体を安全性の根拠にはできないという点にある。彼は、超知能が科学的好奇心、他者への善意、謙虚さ、物質的獲得欲の放棄といった、人間が知恵や知的成熟と結びつけがちな価値を自動的に共有すると仮定すべきではないとする。一方で、人間の福祉や道徳的善を最終目標とする超知能を意図的に作る可能性まで否定しているわけではない。Bostromの要点は、そのような価値が知能の高さだけから自動的に生じるわけではないことである。 The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents