---
about:
- value_fragility
- values
attributed_to:
- yudkowsky
basis_through: '2026-08-25'
id: yudkowsky.value-fragility
kind: position
language: ja
mentions:
- goal
- human_values
- optimization
status: reviewed
---

# 人間にとって価値ある未来は、価値体系の一部を欠くだけでも大きく損なわれ得る

Yudkowsky は、人間の価値は単に複雑なだけでなく fragile だと論じる。未来を形作る goal system が人間の morals と metamorals を十分に継承しなければ、人間から見て価値のあるものをほとんど含まない未来になり得るというのが中心的な主張である。ここで重要なのは、未来の主体が現在の人間と似た姿や嗜好を持つ必要があるということではなく、人間が何に価値を置くかという構造が十分に継承されないことを問題にしている点である。
[Value is Fragile](#corpus-source-1)

その fragility を説明するため、Yudkowsky は、ほぼすべての人間的価値を持ちながら「同じ経験を永遠に繰り返すことへの退屈」を欠く主体や、好ましい感情は持つが、その感情が現実の出来事に対応していることを重視しない主体を例に挙げる。どちらも人間の価値体系の大部分を残しているように見えるが、一つの重要な次元を欠くだけで、最適化された未来全体が人間から見てほとんど無価値になり得るとする。
[Value is Fragile](#corpus-source-1)

ただし Yudkowsky は、価値のどんな微小な変化でも必ずすべてを破壊すると主張しているわけではない。本人が明示しているように、どんな一箇所の変化でも価値全体が壊れるわけではなく、複数の重要な次元のうち、いずれか一つを欠くだけで未来の価値が崩れる場合がある、という意味での fragility である。この区別のため、value fragility は単なる「人間の価値は複雑だ」という主張より強いが、「人間の価値体系を完全に再現しなければ無価値」という主張ではない。
[Value is Fragile](#corpus-source-1)

## about

- [value fragility](../terminology/value_fragility.txt)
- [values](../terminology/values.txt)

## mentions

- [goal](../terminology/goal.txt)
- [human values](../terminology/human_values.txt)
- [optimization](../terminology/optimization.txt)

## Citation references

<a id="corpus-source-1"></a>

- [Value is Fragile](../sources/yudkowsky.value-is-fragile.txt)
  - Source: `source:yudkowsky.value-is-fragile`
  - Whole-source citation

[Corpus index](../index.txt)