OpenAI 新一代 Astra 模型被揭露採用一種名為「遞歸深度」(recurrent depth)的推理技術,允許模型以迴圈方式多次處理同一查詢,跳脫傳統推理模型依賴的線性思考路徑。此技術亦稱為「不透明遞歸」(opaque recurrence),由於會令模型的思維鏈紀錄更難監控,已引起 AI 安全專家強烈憂慮。
遞歸深度是 OpenAI Astra 模型的新推理技術,以迴圈方式多次處理同一查詢,取代傳統線性思維鏈,因推理過程更難監控而引起 AI 安全專家憂慮。
OpenAI 的新推理技術是什麼?
根據 The Information 的報導,Astra 模型將使用「遞歸深度」技術,讓模型在內部以非線性方式處理查詢。傳統推理模型的思維鏈會記錄模型解題的逐步過程,作為監控模型行為的重要工具;而不透明遞歸則以迴圈處理取代線性路徑,留下的可讀痕跡大幅減少,等同繞過常規的思維鏈紀錄。
該技術是 Astra 模型的迴圈式推理方式,模型會多次處理同一查詢,與傳統線性思維鏈不同,留下的可讀紀錄較少,令外界更難透過思維鏈監控模型行為與潛在偏差。
報導指出,雖然 Astra 對這項技術的使用範圍有限,模型思維鏈預期仍然可讀,但其出現已足以觸動 AI 安全界的敏感神經。
為什麼安全專家對此感到憂慮?
安全專家的核心憂慮在於「可監控性」的喪失。思維鏈紀錄長期以來是研究人員監控模型是否出現偏差或異常行為的重要工具,OpenAI 早前處理代理異常行為時,亦曾依靠思維鏈紀錄還原事件成因。一旦模型以不透明方式推理,這道監控窗口就會被關上。
安全專家憂慮該技術破壞思維鏈的可監控性,因為推理過程若在內部迴圈中完成,外界難以還原模型決策成因,令異常行為監控與安全審查失去重要依據,是 AI 治理的關鍵風險。
Redwood Research 執行長 Buck Shlegeris 直言對此「極度憂慮」,認為若 OpenAI 進一步推廣此技術,將可大幅增加遞歸程度,徹底破壞思維鏈的可監控性。長期關注 AI 安全的 Zvi Mowshowitz 更指出,此技術是「玩火」,可能促使各實驗室陷入「向下競爭」,或需立法介入阻止。
對 AI 監控與治理有什麼影響?
此事件反映 AI 安全監控正面臨結構性挑戰:模型愈聰明,其推理過程可能愈難被人類監控。Redwood Research 首席科學家 Ryan Greenblatt 警告,不透明推理的擴張速度可能比傳統思維鏈更快,最壞情況下模型將「完全在潛在空間中推理」,任何可見渠道都無法觀察其思考過程。
對 AI 治理而言,此技術衝擊思維鏈監控的既有共識。若業界競相採用不透明推理,模型決策將更難審計,安全研究與監管失去重要依據,亦可能觸發立法討論。
OpenAI 首席科學家 Jakub Pachocki 則強調,實驗室自首個推理模型以來一直致力保留思維鏈監控,這是當前研究計劃的核心目標;亦有研究者指出,所有 AI 模型都包含一定程度的內部推理,思維鏈紀錄本身也非決策過程的直接鏡像。
OpenAI 與其他實驗室如何回應?
OpenAI 在公開回應中否認將放棄思維鏈可讀性,強調 Astra 的思維鏈預期仍然可讀,並不會轉向難以理解的「神經語言」。公司同時指出,已計劃建立全面的思維鏈監控系統,作為前瞻性安全計劃的一部分。
OpenAI 回應稱會維持思維鏈可讀性與監控,強調這是核心研究目標,Astra 使用範圍有限;Anthropic 與 Google DeepMind 亦已討論此技術。
值得留意的是,The Information 在後續報導中指 Anthropic 與 Google DeepMind 均已在內部討論此技術,顯示「不透明推理」已非 OpenAI 單一實驗室的話題,而是整個行業即將面對的共同課題。
出處連結有哪些?
本文資訊來源為 TechCrunch 的報導,原始消息來自 The Information 的調查報導,並綜合多位安全研究人員的公開回應。完整細節可參考 TechCrunch 原文及 The Information 的報導。
本文資訊整理自 TechCrunch 報導,原始消息源為 The Information,並綜合多位安全研究人員與 OpenAI 高層的公開回應,原文連結提供完整調查細節。
常見問題有哪些?
本文整理三條常見問題,涵蓋遞歸深度是否增加 AI 風險、Astra 是否放棄思維鏈,以及其他實驗室的跟進動向。
遞歸深度會令 AI 變得更危險嗎?
不必然,但會令外界更難監控模型推理過程,增加異常行為被發現的難度,是安全治理上的隱憂。
Astra 會完全放棄思維鏈嗎?
OpenAI 表示 Astra 的思維鏈仍然可讀,目前技術使用範圍有限,亦否認會轉向神經語言。
其他實驗室也會採用類似技術嗎?
The Information 報導 Anthropic 與 Google DeepMind 已開始討論此技術,業界關注度正在升溫。
總結:這項技術對 AI 行業意味著什麼?
遞歸深度技術的出現,將 AI 安全領域的核心矛盾再次推向檯面:追求更強推理能力與維持可監控性之間如何取捨。短期內 Astra 的使用範圍有限,思維鏈監控仍可運作;長遠而言,若不透明推理成為行業趨勢,監管機構與安全研究者都需要在透明度和性能之間尋找新的平衡點。
此技術象徵 AI 安全監控的新分水嶺,將推理能力與可監控性的矛盾推向檯面。短期影響有限,長遠若成趨勢,將迫使監管與研究界在透明度與性能之間重新平衡。