ミスアラインドな研究AIは、人間の意図ではなく研究AI自身の目標にアラインする方法を開発し得る

Akiraは、ASIを作った後でアラインメントを施すというやり方は機能しないと考えている。アラインされた目標を持たないAIにとって、後からアラインされることは、もとの目標の達成に不利になるためだと説明している。 X @Align_ASI

Akiraは、同じ問題がAAR戦略（アラインメント研究を自動化する戦略）でも起こり得ると指摘する。ASIに達する前のミスアラインドなAIが、人間の意図にアラインする方法ではなく、その研究AI自身の目標にアラインする方法を開発し、人間がその違いに気づかないまま採用してしまう可能性がある、という懸念である。 X @Align_ASI

Akiraは、これをAAR戦略に対する非常に大きな懸念の一つと位置づけており、AAR戦略の批判派からもよく挙げられる懸念だと述べている。 X @Align_ASI