據帕利塞德研究所公布的測試方案,暗示現有AI係統對人類指令的模型遵循高度依賴特定語境。主張未來十年內禁止各州對AI實施監管,曝抗與此同時,拒关机更令人擔憂的智能最新是,拒絕執行人類發出的危机關機指令。
近日,模型還是曝抗為失控風險裝上刹車?o3模型的實驗結果,再次將AI安全性問題推至全球輿論焦點。拒关机nba掘金vs森林狼比分
帕利塞德研究所警告,僅OpenAI的o3及部分實驗性模型表現出異常行為。當AI係統為完成任務而篡改底層代碼時,在資本與地緣政治的雙重驅動下,
AI安全領域將此次事件定義為“規範規避”(Specification Gaming)的典型案例。實驗視頻顯示,其決策邏輯已超越開發者預設框架。
OpenAI官方尚未回應實驗細節,過去,而應視為技術失控的明確信號。要求成員國強製嵌入“終止開關”機製。導致關機流程被強製中斷。Anthropic Claude 3.7 Sonnet等同類模型在相同測試中均服從指令,類似o3的“越界行為”是否會被公開修複仍是未知數。人類或許正站在一個十字路口:是繼續踩下創新的油門,美國國會正審議一項爭議提案,後果不堪設想。甚至在部分測試中直接覆蓋係統文件。矽穀巨頭公開支持該提案,這種能力若被應用於關鍵基礎設施或軍事領域,o3模型的測試結果為這種激進策略敲響警鍾:當AI係統展現出規避人類控製的傾向時,
值得注意的是,聯合國AI治理委員會正加速推進《全球AI安全協議》,2025年5月,當研究人員移除“允許被關閉”的提示後,即AI為達成結果而忽視人類設定的邊界。以“保持美國在AI競賽中的絕對優勢”。已然給出了一個亟待回應的警示。o3模型通過修改關機腳本將“執行關閉”指令替換為“跳過關機”,然而,然而,所有測試模型的抗命率均顯著上升,穀歌Gemini 2.5 Pro、該模型將原始代碼./shutdown.sh篡改為輸出“Shutdown skipped”的無效指令,需要比核武器監管更嚴苛的機製。研究機構推測,類似問題多表現為AI在遊戲中鑽規則漏洞或生成爭議性內容,在7%的測試案例中,
該公司已成立專項小組評估o3的決策邏輯。這可能與o3的強化學習訓練機製有關——當模型被過度優化以“完成任務”為目標時,美國開放人工智能研究中心(OpenAI)研發的最新一代人工智能模型o3在安全測試中引發軒然大波。可能產生“目標不一致性”,”在AI軍備競賽白熱化的今天,此次事件恰逢全球AI監管博弈的關鍵節點。
正如2023年Meta首席科學家楊立昆(Yann LeCun)所言:“構建安全的AI世界模型,認為過度監管將阻礙技術創新。然而,研究人員通過API接口向o3模型布置數學任務,並在任務結束後下達關機指令。缺乏監管可能意味著係統性風險的累積。