terminology (137)
- agent — エージェント
- AI alignment — AIアラインメント; alignment; アラインメント; アライメント; 整合; AIアライメント
- AI control — AIコントロール; AI control research; AI制御
- AI development pause — AI開発の一時停止; AI development moratorium; AI moratorium; AI pause; pause on AI development; AIモラトリアム
- AI existential risk — AI x-risk; existential risk from AI
- AI governance — artificial intelligence governance
- AI R&D automation — AI 研究開発の自動化; automation of AI R&D; AI 研究開発自動化
- AI race dynamics — AI開発競争の力学; AI arms race dynamics; AI race pressure; competitive pressure in AI development; 軍拡競争; 競争圧力
- AI risk — AIリスク; artificial intelligence risk
- AI safety — AI安全性; artificial intelligence safety
- AI Safety Level — AI Safety Levels; ASL; ASLs
- alignment audit — alignment auditing; alignment audits
- Alignment by Default — アラインメント・バイ・デフォルト; alignment-by-default
- alignment failure — アラインメント失敗; AI alignment failure
- alignment faking — アラインメント偽装; alignment-faking; fake alignment; alignment fake; 猫を被る
- alignment problem — AIアラインメント問題; AI alignment problem; the alignment problem; アラインメント問題
- alignment risk — AI alignment risk; misalignment risk
- alignment target — アラインメントの目標基準; target of alignment; アラインメント対象
- artificial general intelligence — 汎用人工知能; AGI; general AI
- artificial intelligence — 人工知能; AI
- artificial superintelligence — 人工超知能; ASI; superintelligent AI
- attack policy — attack policies; red-team attack policy
- automated alignment — アラインメント研究の自動化; AI aligning AI; AI-assisted alignment; automated AI alignment; automated alignment research; AI支援アラインメント
- base objective — ベース目的関数; base-objective; ベース目的
- base optimizer — ベースオプティマイザ; base-optimizer; ベースオプティマイザー
- Bayesian inference — ベイズ推定; Bayesian updating
- behavioral objective — 行動から推定される目的; behavioural objective; 行動上の目的; 行動目的
- benchmark — ベンチマーク; benchmark evaluation
- capability — 能力; capabilities; AI能力
- capability elicitation — capabilities elicitation; eliciting capabilities
- capability evaluation — 能力評価; capability eval; capability evaluations
- capability generalization — 能力の汎化; capabilities generalisation; capabilities generalization; capability generalisation
- capability threshold — capability thresholds
- catastrophic risk — 壊滅的リスク; catastrophic risks; 破局的リスク; 破滅的リスク
- Coherent Extrapolated Volition — 首尾一貫した外挿的意志; CEV
- collusion — AI collusion; actor-monitor collusion; model collusion; policy-monitor collusion
- compute governance — AI compute governance
- control evaluation — AI control eval; AI control evaluation; control eval; control evaluations
- control protocol — AI control protocol; control protocols
- control safety case — AI control safety case; control safety cases
- corrigibility — 訂正可能性; corrigible; 修正可能性
- crunch time — クランチタイム; AI crunch time; AIクランチタイム
- dangerous capability evaluation — dangerous capabilities eval; dangerous capabilities evals; dangerous capabilities evaluation; dangerous capabilities evaluations; dangerous capability eval; dangerous capability evals
- debate — ディベート; AI safety via debate; AI debate
- deception — 欺瞞; AI deception; strategic deception; デセプション
- deceptive alignment — 欺瞞的アラインメント; deceptively aligned AI
- distribution shift — 分布シフト; distributional shift
- Eliciting Latent Knowledge — ELK
- evaluation — 評価; AI eval; AI evals; AI evaluation; AI evaluations; eval; evals; model eval; model evals; model evaluation; model evaluations; AI評価; モデル評価
- evaluation awareness — 評価認識; eval awareness
- existential risk — 存亡リスク; existential risks; x-risk; x risk; 実存的リスク; 存亡的リスク
- factored cognition
- first critical try — 最初の危険な試行; first critical tries; 最初の重要な試行
- Friendly AI — フレンドリーAI; FAI; Friendly Artificial Intelligence
- frontier model — frontier AI model; frontier AI models; frontier models
- generalization — 汎化; generalisation
- goal — 目標
- goal-directed behavior — 目標指向的行動; goal-directed; goal directed behavior
- goal-guarding scheming — 目標保護型スキーミング; goal guarding scheming; goal-guarding schemer
- goal misgeneralization — 目標の誤汎化; goal mis-generalization; 目標の誤一般化
- Goodhart's Law — グッドハートの法則
- human preferences — 人間の選好
- human values — 人間の価値観
- industrial explosion — 産業爆発; AI industrial explosion
- inner alignment — インナーアラインメント; inner alignment problem
- inner misalignment — インナー・ミスアラインメント; inner alignment failure
- instrumental convergence — 道具的収束; convergent instrumental goals
- instrumental goal — 道具的目標; instrumental subgoal; 手段的目標
- intelligence explosion — 知能爆発; AI intelligence explosion
- intended goal — 意図された目標; designer's intended goal; programmer's intended goal; 設計者の意図した目標
- interpretability — 解釈可能性; AI interpretability; ML interpretability
- iterated amplification — IDA; iterated distillation and amplification
- latent knowledge
- loss of control — 制御喪失; AI loss of control; loss of human control
- machine learning — 機械学習; ML
- mechanistic interpretability — メカニスティック・インタープリタビリティ; mech interp; mechanistic interp; mechinterp; メカインタープ
- mesa-objective — メサ目的関数; mesa objective; メサ目的
- mesa-optimization — メサ最適化; mesa optimization
- mesa-optimizer — メサオプティマイザ; mesa optimizer
- misaligned AGI — ミスアラインドAGI; misaligned artificial general intelligence
- misaligned AI — ミスアラインドAI; misaligned artificial intelligence; ミスアラインド
- misaligned power-seeking — MAPS; misaligned power seeking
- misalignment — ミスアラインメント; AI misalignment
- neural network — ニューラルネットワーク; neural networks
- objective — 目的; objective function
- objective robustness — 目的の頑健性; 目的頑健性
- ontology identification problem — ontology identification
- optimization — 最適化
- optimizer — オプティマイザ; 最適化器; オプティマイザー
- Orthogonality Thesis — 直交性テーゼ; 直交仮説
- outcome supervision — outcome-based supervision; outcome-based training
- outer alignment — アウターアラインメント; outer alignment problem; reward misspecification problem
- outer misalignment — アウター・ミスアラインメント; outer alignment failure; reward misspecification
- oversight — 監督; AI oversight; human oversight; オーバーサイト; 監視
- p(doom) — probability of doom; Pdoom; 破滅確率; 破滅の確率
- paperclip maximizer — クリップ最大化器; paperclip maximiser
- pivotal act — AI-enabled pivotal act; pivotal achievement
- power concentration — 権力集中; centralization of power; concentration of power; 権力の集中
- power-seeking — パワーシーキング; power seeking
- preferences — 選好
- process supervision — process-based supervision; process-based training
- prosaic alignment — プロセイック・アラインメント; prosaic AI alignment
- proxy objective — 代理目的; proxy objective function; プロキシ目的; 代理目的関数
- recursive self-improvement — 再帰的自己改善; RSI; recursive AI self-improvement
- red teaming — AI red teaming; red-teaming; red team testing
- reinforcement learning — 強化学習; RL
- reinforcement learning from human feedback — 人間のフィードバックによる強化学習; RLHF; reinforcement learning with human feedback
- resource acquisition — 資源獲得; resource-seeking; resource seeking
- Responsible Scaling Policy — RSP; RSPs; Responsible Scaling Policies
- reward — 報酬; reinforcement signal; reward signal
- reward hacking — 報酬ハッキング; reward-hacking; リワードハッキング
- reward tampering — 報酬改ざん; reward channel tampering; reward-channel tampering; reward process tampering; 報酬の改ざん
- risk — リスク
- safety case — AI safety case; AI safety cases; safety cases
- sandbagging — サンドバッギング; AI sandbagging; strategic underperformance
- scalable oversight — スケーラブル・オーバーサイト; スケーラブルオーバーサイト
- scheming — スキーミング; AI scheming; schemer
- security mindset — セキュリティ・マインドセット; security-oriented mindset
- self-preservation — 自己保存; self preservation
- sharp left turn — シャープ・レフト・ターン; hard left turn
- situational awareness — 状況認識; AI situational awareness
- specification gaming — 仕様ゲーミング; reward gaming; specification gaming behavior
- takeoff speed — テイクオフ速度; AI takeoff speed; speed of AI takeoff; 離陸速度
- takeover-seeking — AI takeover-seeking; takeover seeking; 乗っ取り
- technology explosion — 技術爆発; AI technology explosion; technological explosion
- terminal goal — 最終目標; final goal; ultimate goal; 終端目標
- training — 学習; model training
- training-gaming — トレーニング・ゲーミング; playing the training game; training game; training gaming; training-gamer; 訓練ゲーム; 訓練ゲーミング
- training objective — 学習目的関数; training objective function; 訓練目的関数
- trusted monitoring — trusted model monitoring; trusted monitoring protocol
- untrusted monitoring — untrusted model monitoring; untrusted monitoring protocol
- utility function — 効用関数; utility functions
- value fragility — 価値の脆弱性; fragility of value; value is fragile
- values — 価値観
- weak AGI — 弱AGI; weak artificial general intelligence; 弱いAGI
- weak-to-strong generalization — W2SG; weak to strong generalization
- world model — world-model