AGIの前に、誰もが認める明確な「火災報知器」が鳴るとは期待できない

Yudkowskyは、AGIの到来前に、AGIが迫っていると誰もが認め、行動に移ることが社会的にも受け入れられるようになる明確な「火災報知器」が現れるとは期待できないと予測している。ここでいう火災報知器の役割は、単に新たな証拠を与えることではなく、「ほかの人も危険を認識している」という共通知識を生み、行動を社会的に正当化することにある。実際の火事でも、ドアの下から出る煙のほうが警報音より火事の存在を示す強い証拠になり得る一方、警報音には周囲も同じ状況を認識していると知らせる役割がある、という比喩を使っている。 There's No Fire Alarm for Artificial General Intelligence

この見方では、AGIの前触れになり得る出来事がまったくないわけではない。AlphaGoのような進歩や、新しい学習手法、研究量の増加は「煙」に相当する情報にはなり得る。しかし、ある成果を見て、それがAGIまで10年、5年、2年といった具体的な残り時間を示すと確実に判断する方法はなく、成果が出た後でも「その課題が思ったより簡単だっただけだ」と解釈する余地が残る。技術進歩の時期は、分野の平均的な知識ではなく最先端の知識に左右されるため、平均的な研究者が現在の技術をどれほど難しいと感じるかも、AGIが遠いことを示す強い証拠にはならないと論じている。 There's No Fire Alarm for Artificial General Intelligence

ただしYudkowskyは、これを「AGIが間近だと分かっている」という主張にはしていない。むしろ、今後も重要なブレークスルーや、見通しを更新する材料は現れ得る一方、それらを見ても「あと何個の発見が必要か」「残り時間はどのくらいか」という不確実性はかなり遅い段階まで残る可能性が高い、としている。したがって否定しているのは前兆そのものではなく、実際にAGIが動き出す前に、タイムラインについて、誰もが受け入れる決定的で反論の余地がない合図が得られるという期待である。 There's No Fire Alarm for Artificial General Intelligence

そのため、明確な社会的合意が生まれるまでAGIアラインメントへの取り組みを先送りする戦略は危険だと結論づける。もし共通知識が成立するまで待つなら、その時点ではアラインメントがすでに注目分野となり、早く始める価値のあった研究や準備に着手するには遅すぎる可能性がある。要点は、将来の「誰もが納得する警報」を行動開始の前提にしてはならない、というものである。 There's No Fire Alarm for Artificial General Intelligence

Citation references

• There's No Fire Alarm for Artificial General Intelligence
  • Source: source:yudkowsky.no-fire-alarm-for-agi
  • Whole-source citation

Sources cited (1)

• There's No Fire Alarm for Artificial General Intelligence

about (2)

• AI alignment
• artificial general intelligence