
AI2 推出 StateBench 測試語言模型追蹤長文件狀態變化的能力
Allen Institute for AI (AI2) 發布新基準 StateBench,用於評估大型語言模型在處理長篇文件時追蹤實體狀態變化的準確度。測試結果顯示,當輸入長度增加且任務複雜度提高時,包括 Gemini、Claude 和 GPT 系列在內的頂尖模型表現顯著下降,而特定架構的混合模型在直接訓練後展現出較強的泛化能力。
- StateBench 將狀態追蹤問題分為四個難度等級,從不變量到涉及變數引用的複雜依賴鏈,以模擬真實世界中如程式碼執行或敘事邏輯的資訊更新場景。
- 頂尖閉源模型(如 Gemini 3.8 Flash、Claude Opus 5.5、GPT-6 Sol/Luna)在處理簡單狀態追蹤時表現良好,但在需要自我參照更新或變數引用的複雜任務中,隨著輸入長度增加準確率跌至 13% 以下。
- 研究發現,傳統 Transformer 架構即使在直接訓練下也無法解決最難的狀態追蹤等級,而採用 Gated DeltaNet 的混合架構在特定條件下能泛化至比訓練數據長 250 倍的序列長度。
- 測試結果表明,部分模型在預訓練階段未能學會處理複雜狀態變化,而非單純受限於架構理論極限;這為未來開發具備更強狀態追蹤能力的新型架構提供了評估基準。




















