documents (71)

• AARを使ってASIアラインメントを解くには、十分に強い研究AIを先にアラインする必要がある — Attributed to: akira · About: アラインメント研究の自動化, 能力の汎化
• 「Alignment by Default」への強い懐疑 — Attributed to: akira · About: アラインメント・バイ・デフォルト
• 十分な時間と慎重さがあれば、アラインメントは解決可能である — Attributed to: akira · About: AIアラインメント
• 望ましい振る舞いは人間を重視する目標の証拠ではない — Attributed to: akira · About: 行動から推定される目的, 汎化, 目的の頑健性
• AIコントロールが生存確率を高めるシナリオは限られる — Attributed to: akira · About: AIコントロール
• Debateはスーパーアラインメントの問題を解決できる能力水準では成立しにくい — Attributed to: akira · About: ディベート
• 評価認識が先に伸びると、資源獲得の有用性を学ぶ頃にはアラインメント偽装が可能になり得る — Attributed to: akira · About: アラインメント偽装, 評価認識
• 訓練中に役立った手段そのものが学習された目標になり得る — Attributed to: akira · About: 目標の誤汎化
• 自己保存は最終目標でなくてもシャットダウンを妨げうる — Attributed to: akira · About: 道具的収束, 自己保存
• ミスアラインドな研究AIは、人間の意図ではなく研究AI自身の目標にアラインする方法を開発し得る — Attributed to: akira · About: アラインメント研究の自動化, ミスアラインメント
• 楽観的な前提を積み重ねるアラインメント計画への懐疑 — Attributed to: akira · About: アラインメント研究の自動化
• p(doom)は開発停止・テイクオフ・規制の条件に依存する — Attributed to: akira · About: p(doom)
• Untrusted monitoringは共謀や欺瞞によって破られうる — Attributed to: akira · About: collusion, untrusted monitoring
• 条約と相互査察で国際的な超知能開発停止を検証する — Attributed to: akira · About: AI開発の一時停止, AI governance
• 弱AGIによる短期アラインメント・ブートストラップへの懐疑 — Attributed to: akira · About: アラインメント研究の自動化, 弱AGI
• 狭いタスクでファインチューニングしても、影響がそのタスク内に限られるとは限らない — Attributed to: betley_et_al · About: 汎化, ミスアラインメント
• AI開発競争の圧力は安全のための制約を弱め得る — Attributed to: bioshok · About: AI開発競争の力学, AI安全性
• 産業爆発と技術爆発は互いを加速し得る — Attributed to: bioshok · About: 産業爆発, 技術爆発
• 最終目標が大きく異なっても、共通の道具的目標が生じやすい — Attributed to: bostrom · About: 道具的収束
• 知能水準と最終目標は、原理上ほぼ独立である — Attributed to: bostrom · About: 直交性テーゼ
• アラインメント研究の自動化は、研究AIが意図的に妨害しなくても失敗し得る — Attributed to: bowkis_et_al · About: アラインメント失敗, アラインメント研究の自動化
• 共通の重み・データ・訓練過程を持つ研究AIでは、研究結果の誤りや不確実性が相関し得る — Attributed to: bowkis_et_al · About: アラインメント研究の自動化
• スキーミングとは、状況認識を伴うトレーニング・ゲーミングのうち、将来のパワー獲得を目的とするもの — Attributed to: carlsmith · About: 目標保護型スキーミング, スキーミング, 状況認識
• 一見単一の概念に対応するSAEの潜在変数でも、本来発火すべき入力を取りこぼすことがある — Attributed to: chanin_et_al · About: メカニスティック・インタープリタビリティ
• 「doom」を単一確率に畳まず、複数の重大なリスクを区別して見積もる — Attributed to: christiano · About: p(doom)
• Yudkowskyとの相違は、危険に至る経路とそれまでに取れる対応の見通しにある — Attributed to: christiano · About: AI governance, 再帰的自己改善
• 強力なAIが人類から不可逆的に支配権を奪う展開には相当な可能性がある — Attributed to: christiano · About: AI existential risk, 制御喪失
• 測定しやすい代理指標の最適化により、人間は一度の決定的な支配権の移行がなくても徐々に制御を失い得る — Attributed to: christiano · About: 制御喪失, ミスアラインメント, アウター・ミスアラインメント, 代理目的
• スローテイクオフでは、超知能より前のAIがすでに世界を大きく変える — Attributed to: christiano · About: テイクオフ速度
• ELKの中心課題はAIと人間のオントロジーを橋渡しすることである — Attributed to: christiano, xu · About: Eliciting Latent Knowledge, latent knowledge, ontology identification problem, world model
• AIガバナンスの集中化には利点と欠点があり、制度設計が結果を左右する — Attributed to: cihon_et_al · About: AI governance, 権力集中
• クランチタイムではAIの労働力を防御用途に振り向け、移行を大幅に遅らせる — Attributed to: cotra · About: クランチタイム
• AI研究開発に大量のAI労働力を投入できれば、AGIから超知能への移行は1年未満になり得る — Attributed to: davidson · About: 人工超知能, テイクオフ速度
• AI研究開発が先行して自動化されると、能力面のテイクオフの期間は大幅に短縮される可能性がある — Attributed to: davidson · About: AI 研究開発の自動化, テイクオフ速度
• 再帰的な監督を重ねても、能力差が広がってなお成功率を維持できるとは限らない — Attributed to: engels_et_al · About: スケーラブル・オーバーサイト
• AI研究開発の自動化だけによる自己加速は、実験用計算資源がボトルネックとなって頭打ちになる可能性がある — Attributed to: barnett, erdil · About: AI 研究開発の自動化, 知能爆発, 再帰的自己改善
• R&Dの全面自動化が経済全体の広範な自動化に大きく先行するという見通しには慎重である — Attributed to: barnett, erdil · About: テイクオフ速度
• AI研究開発が全面自動化されれば、ハードウェアを増強しなくてもソフトウェア知能爆発は十分に起こり得る — Attributed to: davidson, eth · About: AI 研究開発の自動化, 知能爆発, 再帰的自己改善
• AI研究開発の全面自動化後は、ソフトウェア知能爆発に至らなくても、しばらく非常に速い進歩が続き得る — Attributed to: davidson, eth · About: AI 研究開発の自動化, 知能爆発, テイクオフ速度
• AIコントロールは時間を稼げても、超知能に対する長期的な安全計画としては頼れない — Attributed to: greenblatt · About: AIコントロール, 人工超知能
• 現在のAIに見られるミスアラインメントは、将来の深刻な問題を示唆する — Attributed to: greenblatt · About: frontier model, ミスアラインメント
• 訓練中に従うようになっただけでは、競合する選好が置き換わったとは言えない — Attributed to: greenblatt_et_al · About: アラインメント偽装, 選好
• ベース目的関数とメサ目的関数は一致するとは限らない — Attributed to: garrabrant, hubinger, mikulik, skalse, van_merwijk · About: ベース目的関数, ベースオプティマイザ, インナーアラインメント, インナー・ミスアラインメント, メサ目的関数, メサオプティマイザ, アウターアラインメント, アウター・ミスアラインメント
• 既に形成された欺瞞的な方策は、標準的な安全性訓練を経ても残り得る — Attributed to: hubinger_et_al · About: 欺瞞的アラインメント, プロセイック・アラインメント, 学習
• コントロールに基づく安全性ケースには、能力の十分な引き出しと、評価・外挿の保守性が必要になる — Attributed to: korbak_et_al · About: control safety case
• SAEの辞書幅を大きくしても、一意・完全・不可分な特徴辞書に収束するとは限らない — Attributed to: leask_et_al · About: メカニスティック・インタープリタビリティ
• チャット形式の安全性訓練で望ましく振る舞うことは、エージェント的な状況での安全性を保証しない — Attributed to: macdiarmid_et_al · About: 分布シフト, プロセイック・アラインメント, 人間のフィードバックによる強化学習, 報酬ハッキング
• 行動訓練で望ましく振る舞っても、意図した目標の頑健な汎化は保証されない — Attributed to: ngo_et_al · About: 汎化, 目標の誤汎化, 目的の頑健性, プロセイック・アラインメント
• 弱い監督者でも、強いモデルの潜在能力の一部を引き出せる場合がある — Attributed to: openai · About: weak-to-strong generalization
• コンピュート・ガバナンスは有力な政策手段だが、権力集中のリスクも生む — Attributed to: sastry_et_al · About: compute governance, 権力集中
• ASIの開発停止に向けた国際協定は技術的には具体化できるが、政治的条件がまだ整っていない — Attributed to: scher_et_al · About: AI開発の一時停止, AI governance
• 能力が訓練分布の外へ急速に汎化する局面で、アラインメント特性は同程度には汎化しない可能性がある — Attributed to: soares · About: 能力の汎化, シャープ・レフト・ターン
• 環境に対称性があると、最適方策は選択肢を保つ方向のパワーシーキングに傾く — Attributed to: critch, shah, smith, tadepalli, turner · About: パワーシーキング
• weak-to-strongで高い性能が出ても、弱い監督者が知らない領域でアラインメントが保たれるとは限らない — Attributed to: yang_et_al · About: weak-to-strong generalization
• アラインメントは、失敗が致命的になる分布シフト後にも汎化しなければならない — Attributed to: yudkowsky · About: 分布シフト
• 能力はアラインメントより遠くまで汎化しうる — Attributed to: yudkowsky · About: 能力の汎化
• 能力と目的は別の軸である — Attributed to: yudkowsky · About: 能力, 直交性テーゼ
• CEV型Sovereignと訂正可能なAGIは異なる安全化戦略である — Attributed to: yudkowsky · About: 首尾一貫した外挿的意志, 訂正可能性
• 訂正可能性 (corrigibility) は一般的な目標追求から自然には生じない — Attributed to: yudkowsky · About: 訂正可能性
• アラインメントは最初の危険な試行で成功する必要がある — Attributed to: yudkowsky · About: 最初の危険な試行
• Yudkowskyによる「大規模なAI学習を世界規模で無期限に停止し、計算資源規制を国際的に執行する案」 — Attributed to: yudkowsky · About: AI開発の一時停止, compute governance
• 解釈可能性は危険の診断に役立っても、それだけでアラインメントの解決策にはならない — Attributed to: yudkowsky · About: 解釈可能性
• AGIの前に、誰もが認める明確な「火災報知器」が鳴るとは期待できない — Attributed to: yudkowsky · About: AIアラインメント, 汎用人工知能
• 観測された従順さだけでは、内部の目的や欺瞞の有無までは分からない — Attributed to: yudkowsky · About: 欺瞞, インナーアラインメント
• 外部の目的関数は内部の目標を決定しない — Attributed to: yudkowsky · About: インナーアラインメント, 学習目的関数
• pivotal actには、世界を大きく変えられるほど強いシステムのアラインメントが必要になる — Attributed to: yudkowsky · About: pivotal act
• 再帰的自己改善は、自己改善能力への正のフィードバックを通じて知能爆発を起こし得る — Attributed to: yudkowsky · About: 知能爆発, 再帰的自己改善
• 資源が豊富であることだけから、アンアラインドな超知能が人類のために資源を残すとは推論できない — Attributed to: yudkowsky · About: 資源獲得
• アラインメントのような新規かつ高リスクなシステムの設計には、既知の失敗を塞ぐ以上のセキュリティ・マインドセット (Security Mindset) が必要である — Attributed to: yudkowsky · About: セキュリティ・マインドセット
• 現在と大きく変わらない条件で人間を上回るAIを作れば、人類絶滅が最も可能性の高い結果となる — Attributed to: yudkowsky · About: AI existential risk
• 人間にとって価値ある未来は、価値体系の一部を欠くだけでも大きく損なわれ得る — Attributed to: yudkowsky · About: 価値の脆弱性, 価値観