一見単一の概念に対応するSAEの潜在変数でも、本来発火すべき入力を取りこぼすことがある

Chaninらは、スパースオートエンコーダー（Sparse Autoencoder、SAE）の潜在変数が、活性が最大となる入力例だけを見ると人間が解釈できる単一の概念に対応しているように見えても、その概念に該当する入力すべてで安定して発火するとは限らないことを示している。彼らが特徴吸収（feature absorption）と呼ぶ現象では、より一般的な特徴を表す方向成分が、より具体的な下位の特徴の潜在変数に取り込まれる。その結果、一般的な特徴の潜在変数は多くの正例で発火する一方、特定の正例を偽陰性として取りこぼす。 A is for Absorption

具体例では、Gemma ScopeのあるSAEに「Sで始まる語」を表すように見える潜在変数があり、先頭文字分類でF1 0.81を得ていた。しかし、この潜在変数は _short では発火しなかった。代わりに short に特化した別の潜在変数が発火し、その潜在変数を無効化（ablation）すると予測が大きく損なわれたことから、short の先頭文字の予測に大きく因果的に寄与していることが確認された。つまり、見かけ上単一の概念である「Sで始まる語」を表す潜在変数の不発は、モデルがその特徴を使っていないからではなく、同じ方向の寄与が別の具体的な潜在変数に吸収されていたためだった。 A is for Absorption

論文は、この現象を先頭文字分類の個別例にとどめず、特徴吸収を検出する指標を作り、Gemma Scopeを中心とする数百の公開SAEと、自前で学習したQwen2 0.5B・Llama 3.2 1BのSAEを調べている。著者らは、テストしたすべてのLLM用SAEで特徴吸収を観測したと報告し、辞書幅や疎性の調整は程度を変え得るものの、問題を一般に解消する方法にはならなかったとしている。 A is for Absorption A is for Absorption

したがって、「一見単一の概念に対応するSAEの潜在変数を見つけたなら、その潜在変数は本来発火すべき場面で安定して発火する」とは推論できない。活性が最大となる入力例や適合率（precision）だけでは取りこぼしを見落としやすく、再現率（recall）を確認しなければ、その潜在変数が概念を捉える範囲を過大評価する可能性がある。これは、SAEの潜在変数を重大な判断に使う分類器として扱う場合や、少数の潜在変数だけで回路を記述しようとする場合に特に問題になる。 A is for Absorption

ただし、実験の中心は英単語の先頭文字特徴である。また、著者らの特徴吸収指標は無効化効果を用いて因果的な関与を確かめるため、最終層付近にはそのまま適用しにくい。さらに、計算上の制約から、非JumpReLUのSAEは少数しか学習・評価していない。したがって、この研究は「すべてのSAEの潜在変数が不安定である」ことを示すのではなく、単一の概念に対応しているように見えることだけでは高い再現率や安定した発火を保証できないという反例を示している。 A is for Absorption

Metadata

about
attributed_to
  • chanin_et_al
basis_through
2026-08-29
id
chanin_et_al.monosemantic-sae-features-can-have-systematic-false-negatives
kind
critique
language
ja
mentions
status
reviewed

Citation references

Sources cited (1)

about (1)

mentions (1)