AI研究開発の自動化だけによる自己加速は、実験用計算資源がボトルネックとなって頭打ちになる可能性がある

ErdilとBarnettは、計算資源を固定したまま、AI研究者がアルゴリズムを改善し、その効率向上によってさらに多くのAI研究者を稼働させることで加速が続く「ソフトウェアだけの知能爆発」という見方に慎重である。研究者の認知労働だけを研究への投入要素とみなすなら、AIがAIソフトウェアの研究開発を自動化することで進歩が爆発的に加速する可能性は無視できないと認める一方、そのモデルでは、研究努力だけでソフトウェア性能を何桁も改善し続けられるという仮定が決定的に重要であり、現実には成立しにくいと考える。 Most AI value will come from broad automation, not from R&D

これに対し、彼らが重視するモデルでは、AIソフトウェアの進歩には研究者の認知労働だけでなく、実験によって得られるデータが必要であり、そのデータを生み出す実験用計算資源も重要な投入要素となる。研究者の認知労働だけを大量に増やしても、実験を回すためのGPUなどの計算資源が同じ速さで増えなければ、やがて実験用計算資源がボトルネックとなり、ソフトウェアだけによる加速は持続しない可能性がある。彼らは、AI分野では他のソフトウェア分野に比べ、実験用計算資源の増加率とソフトウェアの進歩率がどちらも特に高かったことを、実験用計算資源が少なくともソフトウェアの進歩にとって重要だとみる根拠の一つに挙げている。ただし、この事実だけでは、実験と研究者の認知労働がどの程度強く補完し合うかまでは分からないとしている。 Most AI value will come from broad automation, not from R&D

だからといって、強い自己加速が完全に不可能だと結論づけているわけではない。ソフトウェアだけによる加速がどこまで続くかは、AI研究開発において実験と認知労働がどの程度強く補完し合うかに大きく依存する。両者の補完関係が強ければ、AI研究開発の認知作業を先に自動化しても、やがて追加のGPUの確保や実験規模の拡大が制約となり、能力向上の速度は、計算資源やその供給網を拡大できる速さに再び縛られ得る。 Most AI value will come from broad automation, not from R&D

Citation references

• Most AI value will come from broad automation, not from R&D
  • Source: source:erdil_barnett.most-ai-value-broad-automation
  • Locator: anchor:Automating_AI_R_and_D_alone_likely_wont_dramatically_accelerate_AI_progress

Sources cited (1)

• Most AI value will come from broad automation, not from R&D

about (3)

• AI R&D automation
• intelligence explosion
• recursive self-improvement

mentions (1)

• takeoff speed