AGI Hub Corpus
Read attributed position summaries below; use terminology to explore related concepts. Follow a document's citations when you need the original evidence.
documents (71)
- AARを使ってASIアラインメントを解くには、十分に強い研究AIを先にアラインする必要がある — Attributed to: akira · About: アラインメント研究の自動化, 能力の汎化
- 「Alignment by Default」への強い懐疑 — Attributed to: akira · About: アラインメント・バイ・デフォルト
- 十分な時間と慎重さがあれば、アラインメントは解決可能である — Attributed to: akira · About: AIアラインメント
- 望ましい振る舞いは人間を重視する目標の証拠ではない — Attributed to: akira · About: 行動から推定される目的, 汎化, 目的の頑健性
- AIコントロールが生存確率を高めるシナリオは限られる — Attributed to: akira · About: AIコントロール
- Debateはスーパーアラインメントの問題を解決できる能力水準では成立しにくい — Attributed to: akira · About: ディベート
- 評価認識が先に伸びると、資源獲得の有用性を学ぶ頃にはアラインメント偽装が可能になり得る — Attributed to: akira · About: アラインメント偽装, 評価認識
- 訓練中に役立った手段そのものが学習された目標になり得る — Attributed to: akira · About: 目標の誤汎化
- 自己保存は最終目標でなくてもシャットダウンを妨げうる — Attributed to: akira · About: 道具的収束, 自己保存
- ミスアラインドな研究AIは、人間の意図ではなく研究AI自身の目標にアラインする方法を開発し得る — Attributed to: akira · About: アラインメント研究の自動化, ミスアラインメント
- 楽観的な前提を積み重ねるアラインメント計画への懐疑 — Attributed to: akira · About: アラインメント研究の自動化
- p(doom)は開発停止・テイクオフ・規制の条件に依存する — Attributed to: akira · About: p(doom)
- Untrusted monitoringは共謀や欺瞞によって破られうる — Attributed to: akira · About: collusion, untrusted monitoring
- 条約と相互査察で国際的な超知能開発停止を検証する — Attributed to: akira · About: AI開発の一時停止, AI governance
- 弱AGIによる短期アラインメント・ブートストラップへの懐疑 — Attributed to: akira · About: アラインメント研究の自動化, 弱AGI
- 狭いタスクでファインチューニングしても、影響がそのタスク内に限られるとは限らない — Attributed to: betley_et_al · About: 汎化, ミスアラインメント
- AI開発競争の圧力は安全のための制約を弱め得る — Attributed to: bioshok · About: AI開発競争の力学, AI安全性
- 産業爆発と技術爆発は互いを加速し得る — Attributed to: bioshok · About: 産業爆発, 技術爆発
- 最終目標が大きく異なっても、共通の道具的目標が生じやすい — Attributed to: bostrom · About: 道具的収束
- 知能水準と最終目標は、原理上ほぼ独立である — Attributed to: bostrom · About: 直交性テーゼ
- アラインメント研究の自動化は、研究AIが意図的に妨害しなくても失敗し得る — Attributed to: bowkis_et_al · About: アラインメント失敗, アラインメント研究の自動化
- 共通の重み・データ・訓練過程を持つ研究AIでは、研究結果の誤りや不確実性が相関し得る — Attributed to: bowkis_et_al · About: アラインメント研究の自動化
- スキーミングとは、状況認識を伴うトレーニング・ゲーミングのうち、将来のパワー獲得を目的とするもの — Attributed to: carlsmith · About: 目標保護型スキーミング, スキーミング, 状況認識
- 一見単一の概念に対応するSAEの潜在変数でも、本来発火すべき入力を取りこぼすことがある — Attributed to: chanin_et_al · About: メカニスティック・インタープリタビリティ
- 「doom」を単一確率に畳まず、複数の重大なリスクを区別して見積もる — Attributed to: christiano · About: p(doom)
- Yudkowskyとの相違は、危険に至る経路とそれまでに取れる対応の見通しにある — Attributed to: christiano · About: AI governance, 再帰的自己改善
- 強力なAIが人類から不可逆的に支配権を奪う展開には相当な可能性がある — Attributed to: christiano · About: AI existential risk, 制御喪失
- 測定しやすい代理指標の最適化により、人間は一度の決定的な支配権の移行がなくても徐々に制御を失い得る — Attributed to: christiano · About: 制御喪失, ミスアラインメント, アウター・ミスアラインメント, 代理目的
- スローテイクオフでは、超知能より前のAIがすでに世界を大きく変える — Attributed to: christiano · About: テイクオフ速度
- ELKの中心課題はAIと人間のオントロジーを橋渡しすることである — Attributed to: christiano, xu · About: Eliciting Latent Knowledge, latent knowledge, ontology identification problem, world model
- AIガバナンスの集中化には利点と欠点があり、制度設計が結果を左右する — Attributed to: cihon_et_al · About: AI governance, 権力集中
- クランチタイムではAIの労働力を防御用途に振り向け、移行を大幅に遅らせる — Attributed to: cotra · About: クランチタイム
- AI研究開発に大量のAI労働力を投入できれば、AGIから超知能への移行は1年未満になり得る — Attributed to: davidson · About: 人工超知能, テイクオフ速度
- AI研究開発が先行して自動化されると、能力面のテイクオフの期間は大幅に短縮される可能性がある — Attributed to: davidson · About: AI 研究開発の自動化, テイクオフ速度
- 再帰的な監督を重ねても、能力差が広がってなお成功率を維持できるとは限らない — Attributed to: engels_et_al · About: スケーラブル・オーバーサイト
- AI研究開発の自動化だけによる自己加速は、実験用計算資源がボトルネックとなって頭打ちになる可能性がある — Attributed to: barnett, erdil · About: AI 研究開発の自動化, 知能爆発, 再帰的自己改善
- R&Dの全面自動化が経済全体の広範な自動化に大きく先行するという見通しには慎重である — Attributed to: barnett, erdil · About: テイクオフ速度
- AI研究開発が全面自動化されれば、ハードウェアを増強しなくてもソフトウェア知能爆発は十分に起こり得る — Attributed to: davidson, eth · About: AI 研究開発の自動化, 知能爆発, 再帰的自己改善
- AI研究開発の全面自動化後は、ソフトウェア知能爆発に至らなくても、しばらく非常に速い進歩が続き得る — Attributed to: davidson, eth · About: AI 研究開発の自動化, 知能爆発, テイクオフ速度
- AIコントロールは時間を稼げても、超知能に対する長期的な安全計画としては頼れない — Attributed to: greenblatt · About: AIコントロール, 人工超知能
- 現在のAIに見られるミスアラインメントは、将来の深刻な問題を示唆する — Attributed to: greenblatt · About: frontier model, ミスアラインメント
- 訓練中に従うようになっただけでは、競合する選好が置き換わったとは言えない — Attributed to: greenblatt_et_al · About: アラインメント偽装, 選好
- ベース目的関数とメサ目的関数は一致するとは限らない — Attributed to: garrabrant, hubinger, mikulik, skalse, van_merwijk · About: ベース目的関数, ベースオプティマイザ, インナーアラインメント, インナー・ミスアラインメント, メサ目的関数, メサオプティマイザ, アウターアラインメント, アウター・ミスアラインメント
- 既に形成された欺瞞的な方策は、標準的な安全性訓練を経ても残り得る — Attributed to: hubinger_et_al · About: 欺瞞的アラインメント, プロセイック・アラインメント, 学習
- コントロールに基づく安全性ケースには、能力の十分な引き出しと、評価・外挿の保守性が必要になる — Attributed to: korbak_et_al · About: control safety case
- SAEの辞書幅を大きくしても、一意・完全・不可分な特徴辞書に収束するとは限らない — Attributed to: leask_et_al · About: メカニスティック・インタープリタビリティ
- チャット形式の安全性訓練で望ましく振る舞うことは、エージェント的な状況での安全性を保証しない — Attributed to: macdiarmid_et_al · About: 分布シフト, プロセイック・アラインメント, 人間のフィードバックによる強化学習, 報酬ハッキング
- 行動訓練で望ましく振る舞っても、意図した目標の頑健な汎化は保証されない — Attributed to: ngo_et_al · About: 汎化, 目標の誤汎化, 目的の頑健性, プロセイック・アラインメント
- 弱い監督者でも、強いモデルの潜在能力の一部を引き出せる場合がある — Attributed to: openai · About: weak-to-strong generalization
- コンピュート・ガバナンスは有力な政策手段だが、権力集中のリスクも生む — Attributed to: sastry_et_al · About: compute governance, 権力集中
- ASIの開発停止に向けた国際協定は技術的には具体化できるが、政治的条件がまだ整っていない — Attributed to: scher_et_al · About: AI開発の一時停止, AI governance
- 能力が訓練分布の外へ急速に汎化する局面で、アラインメント特性は同程度には汎化しない可能性がある — Attributed to: soares · About: 能力の汎化, シャープ・レフト・ターン
- 環境に対称性があると、最適方策は選択肢を保つ方向のパワーシーキングに傾く — Attributed to: critch, shah, smith, tadepalli, turner · About: パワーシーキング
- weak-to-strongで高い性能が出ても、弱い監督者が知らない領域でアラインメントが保たれるとは限らない — Attributed to: yang_et_al · About: weak-to-strong generalization
- アラインメントは、失敗が致命的になる分布シフト後にも汎化しなければならない — Attributed to: yudkowsky · About: 分布シフト
- 能力はアラインメントより遠くまで汎化しうる — Attributed to: yudkowsky · About: 能力の汎化
- 能力と目的は別の軸である — Attributed to: yudkowsky · About: 能力, 直交性テーゼ
- CEV型Sovereignと訂正可能なAGIは異なる安全化戦略である — Attributed to: yudkowsky · About: 首尾一貫した外挿的意志, 訂正可能性
- 訂正可能性 (corrigibility) は一般的な目標追求から自然には生じない — Attributed to: yudkowsky · About: 訂正可能性
- アラインメントは最初の危険な試行で成功する必要がある — Attributed to: yudkowsky · About: 最初の危険な試行
- Yudkowskyによる「大規模なAI学習を世界規模で無期限に停止し、計算資源規制を国際的に執行する案」 — Attributed to: yudkowsky · About: AI開発の一時停止, compute governance
- 解釈可能性は危険の診断に役立っても、それだけでアラインメントの解決策にはならない — Attributed to: yudkowsky · About: 解釈可能性
- AGIの前に、誰もが認める明確な「火災報知器」が鳴るとは期待できない — Attributed to: yudkowsky · About: AIアラインメント, 汎用人工知能
- 観測された従順さだけでは、内部の目的や欺瞞の有無までは分からない — Attributed to: yudkowsky · About: 欺瞞, インナーアラインメント
- 外部の目的関数は内部の目標を決定しない — Attributed to: yudkowsky · About: インナーアラインメント, 学習目的関数
- pivotal actには、世界を大きく変えられるほど強いシステムのアラインメントが必要になる — Attributed to: yudkowsky · About: pivotal act
- 再帰的自己改善は、自己改善能力への正のフィードバックを通じて知能爆発を起こし得る — Attributed to: yudkowsky · About: 知能爆発, 再帰的自己改善
- 資源が豊富であることだけから、アンアラインドな超知能が人類のために資源を残すとは推論できない — Attributed to: yudkowsky · About: 資源獲得
- アラインメントのような新規かつ高リスクなシステムの設計には、既知の失敗を塞ぐ以上のセキュリティ・マインドセット (Security Mindset) が必要である — Attributed to: yudkowsky · About: セキュリティ・マインドセット
- 現在と大きく変わらない条件で人間を上回るAIを作れば、人類絶滅が最も可能性の高い結果となる — Attributed to: yudkowsky · About: AI existential risk
- 人間にとって価値ある未来は、価値体系の一部を欠くだけでも大きく損なわれ得る — Attributed to: yudkowsky · About: 価値の脆弱性, 価値観
terminology (137)
- agent — エージェント
- AI alignment — AIアラインメント; alignment; アラインメント; アライメント; 整合; AIアライメント
- AI control — AIコントロール; AI control research; AI制御
- AI development pause — AI開発の一時停止; AI development moratorium; AI moratorium; AI pause; pause on AI development; AIモラトリアム
- AI existential risk — AI x-risk; existential risk from AI
- AI governance — artificial intelligence governance
- AI R&D automation — AI 研究開発の自動化; automation of AI R&D; AI 研究開発自動化
- AI race dynamics — AI開発競争の力学; AI arms race dynamics; AI race pressure; competitive pressure in AI development; 軍拡競争; 競争圧力
- AI risk — AIリスク; artificial intelligence risk
- AI safety — AI安全性; artificial intelligence safety
- AI Safety Level — AI Safety Levels; ASL; ASLs
- alignment audit — alignment auditing; alignment audits
- Alignment by Default — アラインメント・バイ・デフォルト; alignment-by-default
- alignment failure — アラインメント失敗; AI alignment failure
- alignment faking — アラインメント偽装; alignment-faking; fake alignment; alignment fake; 猫を被る
- alignment problem — AIアラインメント問題; AI alignment problem; the alignment problem; アラインメント問題
- alignment risk — AI alignment risk; misalignment risk
- alignment target — アラインメントの目標基準; target of alignment; アラインメント対象
- artificial general intelligence — 汎用人工知能; AGI; general AI
- artificial intelligence — 人工知能; AI
- artificial superintelligence — 人工超知能; ASI; superintelligent AI
- attack policy — attack policies; red-team attack policy
- automated alignment — アラインメント研究の自動化; AI aligning AI; AI-assisted alignment; automated AI alignment; automated alignment research; AI支援アラインメント
- base objective — ベース目的関数; base-objective; ベース目的
- base optimizer — ベースオプティマイザ; base-optimizer; ベースオプティマイザー
- Bayesian inference — ベイズ推定; Bayesian updating
- behavioral objective — 行動から推定される目的; behavioural objective; 行動上の目的; 行動目的
- benchmark — ベンチマーク; benchmark evaluation
- capability — 能力; capabilities; AI能力
- capability elicitation — capabilities elicitation; eliciting capabilities
- capability evaluation — 能力評価; capability eval; capability evaluations
- capability generalization — 能力の汎化; capabilities generalisation; capabilities generalization; capability generalisation
- capability threshold — capability thresholds
- catastrophic risk — 壊滅的リスク; catastrophic risks; 破局的リスク; 破滅的リスク
- Coherent Extrapolated Volition — 首尾一貫した外挿的意志; CEV
- collusion — AI collusion; actor-monitor collusion; model collusion; policy-monitor collusion
- compute governance — AI compute governance
- control evaluation — AI control eval; AI control evaluation; control eval; control evaluations
- control protocol — AI control protocol; control protocols
- control safety case — AI control safety case; control safety cases
- corrigibility — 訂正可能性; corrigible; 修正可能性
- crunch time — クランチタイム; AI crunch time; AIクランチタイム
- dangerous capability evaluation — dangerous capabilities eval; dangerous capabilities evals; dangerous capabilities evaluation; dangerous capabilities evaluations; dangerous capability eval; dangerous capability evals
- debate — ディベート; AI safety via debate; AI debate
- deception — 欺瞞; AI deception; strategic deception; デセプション
- deceptive alignment — 欺瞞的アラインメント; deceptively aligned AI
- distribution shift — 分布シフト; distributional shift
- Eliciting Latent Knowledge — ELK
- evaluation — 評価; AI eval; AI evals; AI evaluation; AI evaluations; eval; evals; model eval; model evals; model evaluation; model evaluations; AI評価; モデル評価
- evaluation awareness — 評価認識; eval awareness
- existential risk — 存亡リスク; existential risks; x-risk; x risk; 実存的リスク; 存亡的リスク
- factored cognition
- first critical try — 最初の危険な試行; first critical tries; 最初の重要な試行
- Friendly AI — フレンドリーAI; FAI; Friendly Artificial Intelligence
- frontier model — frontier AI model; frontier AI models; frontier models
- generalization — 汎化; generalisation
- goal — 目標
- goal-directed behavior — 目標指向的行動; goal-directed; goal directed behavior
- goal-guarding scheming — 目標保護型スキーミング; goal guarding scheming; goal-guarding schemer
- goal misgeneralization — 目標の誤汎化; goal mis-generalization; 目標の誤一般化
- Goodhart's Law — グッドハートの法則
- human preferences — 人間の選好
- human values — 人間の価値観
- industrial explosion — 産業爆発; AI industrial explosion
- inner alignment — インナーアラインメント; inner alignment problem
- inner misalignment — インナー・ミスアラインメント; inner alignment failure
- instrumental convergence — 道具的収束; convergent instrumental goals
- instrumental goal — 道具的目標; instrumental subgoal; 手段的目標
- intelligence explosion — 知能爆発; AI intelligence explosion
- intended goal — 意図された目標; designer's intended goal; programmer's intended goal; 設計者の意図した目標
- interpretability — 解釈可能性; AI interpretability; ML interpretability
- iterated amplification — IDA; iterated distillation and amplification
- latent knowledge
- loss of control — 制御喪失; AI loss of control; loss of human control
- machine learning — 機械学習; ML
- mechanistic interpretability — メカニスティック・インタープリタビリティ; mech interp; mechanistic interp; mechinterp; メカインタープ
- mesa-objective — メサ目的関数; mesa objective; メサ目的
- mesa-optimization — メサ最適化; mesa optimization
- mesa-optimizer — メサオプティマイザ; mesa optimizer
- misaligned AGI — ミスアラインドAGI; misaligned artificial general intelligence
- misaligned AI — ミスアラインドAI; misaligned artificial intelligence; ミスアラインド
- misaligned power-seeking — MAPS; misaligned power seeking
- misalignment — ミスアラインメント; AI misalignment
- neural network — ニューラルネットワーク; neural networks
- objective — 目的; objective function
- objective robustness — 目的の頑健性; 目的頑健性
- ontology identification problem — ontology identification
- optimization — 最適化
- optimizer — オプティマイザ; 最適化器; オプティマイザー
- Orthogonality Thesis — 直交性テーゼ; 直交仮説
- outcome supervision — outcome-based supervision; outcome-based training
- outer alignment — アウターアラインメント; outer alignment problem; reward misspecification problem
- outer misalignment — アウター・ミスアラインメント; outer alignment failure; reward misspecification
- oversight — 監督; AI oversight; human oversight; オーバーサイト; 監視
- p(doom) — probability of doom; Pdoom; 破滅確率; 破滅の確率
- paperclip maximizer — クリップ最大化器; paperclip maximiser
- pivotal act — AI-enabled pivotal act; pivotal achievement
- power concentration — 権力集中; centralization of power; concentration of power; 権力の集中
- power-seeking — パワーシーキング; power seeking
- preferences — 選好
- process supervision — process-based supervision; process-based training
- prosaic alignment — プロセイック・アラインメント; prosaic AI alignment
- proxy objective — 代理目的; proxy objective function; プロキシ目的; 代理目的関数
- recursive self-improvement — 再帰的自己改善; RSI; recursive AI self-improvement
- red teaming — AI red teaming; red-teaming; red team testing
- reinforcement learning — 強化学習; RL
- reinforcement learning from human feedback — 人間のフィードバックによる強化学習; RLHF; reinforcement learning with human feedback
- resource acquisition — 資源獲得; resource-seeking; resource seeking
- Responsible Scaling Policy — RSP; RSPs; Responsible Scaling Policies
- reward — 報酬; reinforcement signal; reward signal
- reward hacking — 報酬ハッキング; reward-hacking; リワードハッキング
- reward tampering — 報酬改ざん; reward channel tampering; reward-channel tampering; reward process tampering; 報酬の改ざん
- risk — リスク
- safety case — AI safety case; AI safety cases; safety cases
- sandbagging — サンドバッギング; AI sandbagging; strategic underperformance
- scalable oversight — スケーラブル・オーバーサイト; スケーラブルオーバーサイト
- scheming — スキーミング; AI scheming; schemer
- security mindset — セキュリティ・マインドセット; security-oriented mindset
- self-preservation — 自己保存; self preservation
- sharp left turn — シャープ・レフト・ターン; hard left turn
- situational awareness — 状況認識; AI situational awareness
- specification gaming — 仕様ゲーミング; reward gaming; specification gaming behavior
- takeoff speed — テイクオフ速度; AI takeoff speed; speed of AI takeoff; 離陸速度
- takeover-seeking — AI takeover-seeking; takeover seeking; 乗っ取り
- technology explosion — 技術爆発; AI technology explosion; technological explosion
- terminal goal — 最終目標; final goal; ultimate goal; 終端目標
- training — 学習; model training
- training-gaming — トレーニング・ゲーミング; playing the training game; training game; training gaming; training-gamer; 訓練ゲーム; 訓練ゲーミング
- training objective — 学習目的関数; training objective function; 訓練目的関数
- trusted monitoring — trusted model monitoring; trusted monitoring protocol
- untrusted monitoring — untrusted model monitoring; untrusted monitoring protocol
- utility function — 効用関数; utility functions
- value fragility — 価値の脆弱性; fragility of value; value is fragile
- values — 価値観
- weak AGI — 弱AGI; weak artificial general intelligence; 弱いAGI
- weak-to-strong generalization — W2SG; weak to strong generalization
- world model — world-model