再帰的自己改善は、自己改善能力への正のフィードバックを通じて知能爆発を起こし得る

Yudkowskyは、AIの知能が極めて速く上昇し得る主要な理由として再帰的自己改善を挙げる。AIが自らの認知機能や設計を改善できるなら、改善後のAIは次の改善を行う能力も高くなる。その改善によってさらに自己改善能力が高まることを繰り返せば、AI開発を進める能力そのものが強化され続ける正のフィードバックが成立し、単発の性能向上ではなく持続的な知能爆発へ移行し得る、という見方である。 Artificial Intelligence as a Positive and Negative Factor in Global Risk

この議論では、再帰的な自己改善が臨界点（criticality）を越えるかどうかが重要になる。1回の自己改善が、平均して1回未満のさらなる自己改善しか引き起こさないなら連鎖は減衰するが、平均して1回を超えるさらなる自己改善を引き起こすなら連鎖は増幅し得る。Yudkowskyは、最適化圧力に対する基礎的な知能の変化が滑らかであっても、再帰的自己改善のループが臨界点を通過することで、知能向上の軌跡に大きな加速が現れ得ると論じる。 Artificial Intelligence as a Positive and Negative Factor in Global Risk

ただし、自己改善能力があるだけで知能爆発が必ず起きるとはしていない。AIがその能力を実際に最大速度で使うとは限らず、フレンドリーAIなら意図的に自己改善の速度を抑える可能性もある。また、能力の跳躍幅や所要時間を狭い範囲に絞って予測するのではなく、急速な上昇を重要な可能性として扱っている。したがって、この立場の核心は自己改善を一度行えること自体ではなく、自己改善能力そのものが反復的に強化され、テイクオフ速度を大きく変え得る自己強化的な連鎖が生じ得る点にある。 Artificial Intelligence as a Positive and Negative Factor in Global Risk Artificial Intelligence as a Positive and Negative Factor in Global Risk

Citation references

• Artificial Intelligence as a Positive and Negative Factor in Global Risk
  • Source: source:yudkowsky.ai-positive-negative-factor
  • Locator: page:17-18

• Artificial Intelligence as a Positive and Negative Factor in Global Risk
  • Source: source:yudkowsky.ai-positive-negative-factor
  • Locator: page:20

• Artificial Intelligence as a Positive and Negative Factor in Global Risk
  • Source: source:yudkowsky.ai-positive-negative-factor
  • Locator: page:21-22

• Artificial Intelligence as a Positive and Negative Factor in Global Risk
  • Source: source:yudkowsky.ai-positive-negative-factor
  • Locator: page:30-31

Sources cited (1)

• Artificial Intelligence as a Positive and Negative Factor in Global Risk

about (2)

• intelligence explosion
• recursive self-improvement

mentions (1)

• takeoff speed