アラインメントのような新規かつ高リスクなシステムの設計には、既知の失敗を塞ぐ以上のセキュリティ・マインドセット (Security Mindset) が必要である

Yudkowskyはセキュリティ・マインドセット (Security Mindset) を、思いつく攻撃経路を一つずつ想定して塞ぐ通常の用心深さ（ordinary paranoia）より深い設計態度として説明する。通常の用心深さは既知または想像できた失敗経路への対策を増やすが、セキュリティ・マインドセットでは「安全だという推論のどこかが間違っていたらどうなるか」を問い、重要な保証が少数で信頼性の高い仮定に依存するよう設計を変える。したがって、既知の脆弱性を多数修正したこと自体は、未知の失敗経路に対する十分な安全根拠にはならない。 Security Mindset and Ordinary Paranoia

Yudkowskyはこの考え方を、敵対的な最適化にさらされ、頑健性が必要な新しい種類のシステムへ明示的に拡張している。既存の標準的な実務慣行をそのまま適用できないほど新規で複雑なシステムでは、通常の用心深さだけでは足りず、セキュリティを後付けの助言や一部の担当者に委ねるのではなく、設計の中心に置く必要があるとする。 Security Mindset and the Logistic Success Curve

この考えをアラインメントへ適用すると、危険なAIで生じ得る具体的な失敗モードを列挙して順番に塞げばよい、という発想だけでは不十分だという含意がある。高い最適化圧力の下でも成り立つ安全性を主張するには、安全性の保証がシステムのどの仮定に依存しているかを明示し、その仮定が破れた場合にも致命的な失敗へ直結しにくい構造を積極的に作る必要がある。 Security Mindset and Ordinary Paranoia Security Mindset and the Logistic Success Curve

Citation references

• Security Mindset and Ordinary Paranoia
  • Source: source:yudkowsky.security-mindset-ordinary-paranoia
  • Whole-source citation

• Security Mindset and the Logistic Success Curve
  • Source: source:yudkowsky.security-mindset-logistic-success-curve
  • Whole-source citation

Sources cited (2)

• Security Mindset and the Logistic Success Curve
• Security Mindset and Ordinary Paranoia

about (1)

• security mindset

mentions (3)

• AI alignment
• alignment problem
• optimization