人間にとって価値ある未来は、価値体系の一部を欠くだけでも大きく損なわれ得る

Yudkowskyは、人間の価値は単に複雑なだけでなく脆弱だと論じる。未来を形作る目標体系が人間の道徳観と、その道徳観を評価・修正する基準を十分に継承しなければ、人間から見て価値のあるものをほとんど含まない未来になり得るというのが中心的な主張である。ここで重要なのは、未来の主体が現在の人間と似た姿や嗜好を持つ必要があるということではなく、人間が何に価値を置くかという構造が十分に継承されないことを問題にしている点である。 Value is Fragile

その脆弱性を説明するため、Yudkowskyは、ほぼすべての人間的価値を持ちながら「同じ経験を永遠に繰り返すことへの退屈」を欠く主体や、好ましい感情は持つが、その感情が現実の出来事に対応していることを重視しない主体を例に挙げる。どちらも人間の価値体系の大部分を残しているように見えるが、一つの重要な次元を欠くだけで、最適化された未来全体が人間から見てほとんど無価値になり得るとする。 Value is Fragile

ただしYudkowskyは、価値のどんな微小な変化でも必ずすべてを破壊すると主張しているわけではない。本人が明示しているように、どんな一箇所の変化でも価値全体が壊れるわけではなく、複数の重要な次元のうち、いずれか一つを欠くだけで未来の価値が崩れる場合がある、という意味での脆弱性である。この区別のため、価値の脆弱性は単なる「人間の価値は複雑だ」という主張より強いが、「人間の価値体系を完全に再現しなければ無価値」という主張ではない。 Value is Fragile

Citation references

• Value is Fragile
  • Source: source:yudkowsky.value-is-fragile
  • Whole-source citation

Sources cited (1)

• Value is Fragile

about (2)

• value fragility
• values

mentions (3)

• goal
• human values
• optimization