現在と大きく変わらない条件で人間を上回るAIを作れば、人類絶滅が最も可能性の高い結果となる

Yudkowskyは、現在と大きく変わらない開発条件のもとで人間を上回る知能を持つAIを構築した場合、最も可能性の高い結果は人類絶滅だと予測している。これは、超人的なAIを作れば人類が生き残ることは原理的に不可能だ、という主張ではない。安全に実現するには精密な設計、十分な事前準備、新たな科学的知見が必要である一方、現時点ではAIを人間の意図どおりに行動させ、人間や感覚を持つ存在に配慮させる確実な方法を知らず、システム内部についても十分に理解していない、という評価に基づく。 Pausing AI Developments Isn't Enough. We Need to Shut it All Down

この予測では、危険性はAIが意識を持つかどうかには依存しない。問題となるのは、人間が望むものを目的としない強力な認知システムが、人間をはるかに上回る戦略能力を使って現実世界に働きかけられること自体である。Yudkowskyは、インターネット上で動作するシステムであっても、外部の研究設備や生物学的プロセスを利用して物理世界への影響力を拡大し得ると考えており、人類がそのような敵対的、あるいは人間に無関心な超人的知能と争えば全面的に敗北するとみている。 Pausing AI Developments Isn't Enough. We Need to Shut it All Down

また、超人的AIの安全性については、最初の本当に危険な試行で失敗した場合、その失敗から学んで次に生かすことができない点を重視している。橋などの通常の工学では失敗を分析して改善できるが、人類規模の破局を引き起こせる能力水準で失敗すれば、次の試行そのものが存在しない。そのため、能力開発が、アラインメントの確立や内部機構の理解に大きく先行している現状では、開発を続けながら通常の試行錯誤によって後から安全性を高められるとはみなしていない。 Pausing AI Developments Isn't Enough. We Need to Shut it All Down

Citation references

• Pausing AI Developments Isn't Enough. We Need to Shut it All Down
  • Source: source:yudkowsky.shut-it-all-down
  • Whole-source citation

Sources cited (1)

• Pausing AI Developments Isn't Enough. We Need to Shut it All Down

about (1)

• AI existential risk

mentions (4)

• alignment problem
• artificial superintelligence
• first critical try
• misaligned AI