---
about:
- mechanistic_interpretability
attributed_to:
- leask_et_al
basis_through: '2026-08-29'
id: leask_et_al.sae-dictionaries-need-not-be-canonical
kind: critique
language: ja
mentions:
- interpretability
status: reviewed
---

# SAE の辞書幅を大きくしても、一意・完全・不可分な feature 辞書に収束するとは限らない

Leask らは、Sparse Autoencoder（SAE）が十分な辞書幅を持てば、モデル内部の「真の feature」を一意・完全・不可分な形で回収できるという見方に疑問を呈している。彼らが canonical な分析単位と呼ぶのは、同等の別の分解がないという意味で一意であり、必要な feature を取りこぼさないという意味で完全であり、さらに小さな成分へ分解できないという意味で不可分な feature の集合である。論文は SAE stitching と meta-SAE という二つの方法を用い、この canonical-feature 仮説のうち、特に完全性と不可分性が実際の SAE では成り立たない例を示す。
[Sparse Autoencoders Do Not Find Canonical Units of Analysis](#corpus-source-1)

SAE stitching では、辞書幅の異なる SAE の latent を対応づけ、大きい SAE の latent を小さい SAE に追加または置換して、再構成性能がどう変わるかを見る。GPT-2 Small 上の複数の SAE と Gemma 2 2B の Gemma Scope SAE では、大きい SAE に、小さい SAE の latent のより細粒度な対応物だけでなく、小さい SAE に追加すると再構成を改善する「novel latents」が存在した。これは、小さい SAE の誤差が単に同じ feature の粗い近似だけから生じているのではなく、小さい辞書が情報を実際に取りこぼす場合があることを示しており、単一の小さい SAE 辞書が完全だという見方への反例になる。
[Sparse Autoencoders Do Not Find Canonical Units of Analysis](#corpus-source-2)

一方、meta-SAE は通常の SAE の decoder の方向ベクトル自体をさらに疎に分解する。実験では、大きい SAE の latent が複数の解釈可能な meta-latent の組合せとして表され、その meta-latent はより小さい SAE が学んだ latent と似ていることがあった。たとえば「Albert Einstein」に対応すると解釈された latent は、科学者、有名人、ドイツなどに対応する複数の成分へ分解された。したがって、辞書幅を大きくして得られる個々の latent が、そのまま最小の不可分な feature だとは限らない。
[Sparse Autoencoders Do Not Find Canonical Units of Analysis](#corpus-source-3)

この二つの結果を合わせると、「辞書幅を増やしていけば、どこか一つの幅で一意・完全・不可分な feature 辞書に収束する」という単純な見方は支持されない。異なる幅の SAE は、同じモデルについて異なる粒度や複合構造を持つ feature を返し得るため、Leask らは、少なくとも現状では用途に応じて複数の辞書幅を試すという実用的な扱いを勧めている。
[Sparse Autoencoders Do Not Find Canonical Units of Analysis](#corpus-source-4)

ただし、この研究は canonical な分析単位そのものが存在しないことを証明したものではなく、SAE が解釈可能性の道具として無価値だとも主張していない。実験対象は主に GPT-2 Small と Gemma 2 2B の二つの LLM で、非常に大規模な SAE は対象に含まれていない。したがって今回の結果が支持するのは、少なくとも調べた範囲では、SAE が学習した latent の集合を辞書幅に依存しない一意・完全・不可分な feature 辞書とみなす見方は支持されない、という限定的な主張である。
[Sparse Autoencoders Do Not Find Canonical Units of Analysis](#corpus-source-4)

## about

- [mechanistic interpretability](../terminology/mechanistic_interpretability.txt)

## mentions

- [interpretability](../terminology/interpretability.txt)

## Citation references

<a id="corpus-source-1"></a>

- [Sparse Autoencoders Do Not Find Canonical Units of Analysis](../sources/leask_et_al.sparse-autoencoders-do-not-find-canonical-units-of-analysis.txt)
  - Source: `source:leask_et_al.sparse-autoencoders-do-not-find-canonical-units-of-analysis`
  - Locator: `page:2`

<a id="corpus-source-2"></a>

- [Sparse Autoencoders Do Not Find Canonical Units of Analysis](../sources/leask_et_al.sparse-autoencoders-do-not-find-canonical-units-of-analysis.txt)
  - Source: `source:leask_et_al.sparse-autoencoders-do-not-find-canonical-units-of-analysis`
  - Locator: `page:5-6`

<a id="corpus-source-3"></a>

- [Sparse Autoencoders Do Not Find Canonical Units of Analysis](../sources/leask_et_al.sparse-autoencoders-do-not-find-canonical-units-of-analysis.txt)
  - Source: `source:leask_et_al.sparse-autoencoders-do-not-find-canonical-units-of-analysis`
  - Locator: `page:7-8`

<a id="corpus-source-4"></a>

- [Sparse Autoencoders Do Not Find Canonical Units of Analysis](../sources/leask_et_al.sparse-autoencoders-do-not-find-canonical-units-of-analysis.txt)
  - Source: `source:leask_et_al.sparse-autoencoders-do-not-find-canonical-units-of-analysis`
  - Locator: `page:10`

[Corpus index](../index.txt)