最終目標が大きく異なっても、共通の道具的目標が生じやすい

Bostromの「道具的収束テーゼ」は、直交性テーゼを補完する主張である。人工知能エージェントは最終目標が大きく異なり得る一方、ある種の目標は、幅広い最終目標や状況のもとで、最終目標の達成可能性を高める手段となる。そのため、こうした道具的目標は多くの知的主体に共通して追求され得るとBostromは論じる。また、他の条件が同じなら、知能が高い主体ほど、自らの目標達成に実際に役立つ手段を見抜きやすい。このため、こうした共通の道具的目標を手がかりに行動を予測する方法は、超知能について特に有用になるとする。 The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents

代表例の一つが自己保存である。将来にわたる最終目標を持つ主体は、存続していれば将来もその目標に向けて行動できるため、自らの存続それ自体に最終的価値を置いていなくても、自己保存を手段として重視する理由を持ち得る。さらに、現在の最終目標を将来も追求するなら、その目標の内容を保つことにも道具的な理由が生じる。ただし、この理由は最終目標の内容を保つことに関するもので、道具的目標まで固定されるという意味ではない。新たな情報に応じて道具的目標を変更することはあり得る。また、社会的シグナリング、他者の選好、自らの目標内容そのものに関する別の最終目標、目標内容の保存・処理に伴うコストなどがあれば、最終目標自体を変更する理由も生じ得る。 The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents

Bostromはほかにも、認知能力の向上、情報の獲得、より有効な技術、資源獲得を、幅広い最終目標に共通し得る道具的目標として検討している。認知能力の向上や情報の獲得は、より適切な意思決定に役立つ。また、より良い技術は、与えられた資源から主体が価値を置く成果をより効率よく生み出すことを可能にし、資源は物理世界でのさまざまな活動に利用できるため、いずれも多様な最終目標の達成に役立ち得る。しかし、これらが無条件に価値を持つわけではない。不要な知識や能力には獲得・維持コストがあり、技術の有用性も主体の目的や状況に依存する。資源獲得についても、汎用的な資源を目的に適した形へ変換する技術が十分に発達し、追加の資源を低コストで得られる状況では、資源をさらに獲得する道具的な理由が生じ得る。反対に、必要な技術が不足していたり、同程度に強い競争相手が資源をすでに確保していたりする場合には、資源獲得が費用に見合わないこともある。 The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents

ただし、Bostromは、共通の道具的目標を追求する理由があり、主体自身がその理由を認識していても、どの具体的な行動によってその目標を追求するかまでは予測しにくいと明記している。それでも、非常に異なる最終目標を持つ超知能であっても、多くの状況で資源を獲得したり、自身の存続や目標体系を脅かすものを取り除いたりする道具的な理由を持ち得る。このため、ある状況で人間への協力が目標達成に有利だからといって、将来も安全に行動すると保証する根拠にはならない。 The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents

Metadata

about
attributed_to
  • bostrom
basis_through
2026-08-29
id
bostrom.instrumental-convergence-predicts-common-subgoals-across-many-final-goals
kind
position
language
ja
mentions
status
reviewed

Citation references

Sources cited (1)

about (1)

mentions (6)