SAEの辞書幅を大きくしても、一意・完全・不可分な特徴辞書に収束するとは限らない

Leaskらは、スパースオートエンコーダー（Sparse Autoencoder、SAE）が十分な辞書幅を持てば、モデル内部の「真の特徴」を一意・完全・不可分な形で回収できるという見方に疑問を呈している。彼らが標準的な分析単位（canonical units of analysis）と呼ぶのは、同等の別の分解がないという意味で一意であり、必要な特徴を取りこぼさないという意味で完全であり、さらに小さな成分へ分解できないという意味で不可分な特徴の集合である。論文はSAE stitchingとmeta-SAEという二つの方法を用い、この標準的な特徴仮説のうち、特に完全性と不可分性が実際のSAEでは成り立たない例を示す。 Sparse Autoencoders Do Not Find Canonical Units of Analysis

SAE stitching（SAE同士をつなぎ合わせる手法）では、辞書幅の異なるSAEの潜在変数を対応づけ、大きいSAEの潜在変数を小さいSAEに追加するか、小さいSAEの既存の潜在変数をそれで置き換えて、再構成性能がどう変わるかを見る。GPT-2 Small上の複数のSAEとGemma 2 2BのGemma Scope SAEでは、大きいSAEに、小さいSAEの潜在変数のより細粒度な対応物だけでなく、小さいSAEに追加すると再構成を改善する新たな潜在変数（novel latents）が存在した。これは、小さいSAEの誤差が単に同じ特徴の粗い近似だけから生じているのではなく、小さい辞書が情報を実際に取りこぼす場合があることを示しており、単一の小さいSAE辞書が完全だという見方への反例になる。 Sparse Autoencoders Do Not Find Canonical Units of Analysis

一方、meta-SAEは通常のSAEのデコーダーの方向ベクトル自体をさらに疎に分解する。実験では、大きいSAEの潜在変数が複数の解釈可能なメタ潜在変数の組合せとして表され、そのメタ潜在変数はより小さいSAEが学んだ潜在変数と似ていることがあった。たとえばアルベルト・アインシュタインに対応すると解釈された潜在変数は、科学者、有名人、ドイツなどに対応する複数の成分へ分解された。したがって、辞書幅を大きくして得られる個々の潜在変数が、そのまま最小の不可分な特徴だとは限らない。 Sparse Autoencoders Do Not Find Canonical Units of Analysis

この二つの結果を合わせると、「辞書幅を増やしていけば、どこか一つの幅で一意・完全・不可分な特徴辞書に収束する」という単純な見方は支持されない。異なる幅のSAEは、同じモデルについて異なる粒度や複合構造を持つ特徴を返し得るため、Leaskらは、少なくとも現状では用途に応じて複数の辞書幅を試すという実用的な扱いを勧めている。 Sparse Autoencoders Do Not Find Canonical Units of Analysis

ただし、この研究は標準的な分析単位そのものが存在しないことを証明したものではなく、SAEが解釈可能性の道具として無価値だとも主張していない。実験対象は主にGPT-2 SmallとGemma 2 2Bの二つのLLMで、非常に大規模なSAEは対象に含まれていない。したがって今回の結果が支持するのは、少なくとも調べた範囲では、SAEが学習した潜在変数の集合を辞書幅に依存しない一意・完全・不可分な特徴辞書とみなす見方は支持されない、という限定的な主張である。 Sparse Autoencoders Do Not Find Canonical Units of Analysis

Metadata

about
attributed_to
  • leask_et_al
basis_through
2026-08-29
id
leask_et_al.sae-dictionaries-need-not-be-canonical
kind
critique
language
ja
mentions
status
reviewed

Citation references

Sources cited (1)

about (1)

mentions (1)