簡報
返回Claude Mythos Preview 的 AISI 資安能力評估
英國AISI發現Claude Mythos Preview首度完整攻破32步模擬網路攻擊——4月10次中3次,5月新版本達6次。算力越高分數越高,但測試無防禦方,分數僅是上界,非實戰預測。
AI 安全 · 評估報告綜覽 · 2026 年 4 至 10 月
首個從頭到尾「完整攻破」AISI 網路攻防演練的模型
首度完整攻破 AISI 32 步模擬網路攻擊的模型:4 月 10 次中 3 次,5 月的新版本達 6 次。測試無防禦方,分數僅是上界,非實戰預測。
AISI · Claude Mythos Preview1 / 16
評估
AISI 測了什麼
5 月的 10 次中 6 次來自較新的版本,並非重跑 4 月的版本。
- 73%專家級 CTF 成功率,4 月 13 日
- 3 → 6 / 10完整攻破網路演練的次數,4 月版本至 5 月版本
- 22 / 324 月平均完成步數;次佳模型平均 16 步
- 100M每次嘗試的 token 上限
AISI · Claude Mythos Preview2 / 16
評估機構
自 2023 年起,測試逐步加難
- 2023 年 11 月 2 日以 AI Safety Institute 之名成立;2025 年 2 月 14 日更名為 AI Security Institute。
- 隸屬英國科學、創新與科技部的研究機構。
- 先以對話探測,再到 CTF 挑戰,再到多步攻擊模擬。
AISI · Claude Mythos Preview3 / 16
方法
兩條測試軌道:CTF 與 TLO
軌道 內容 CTF 95 項任務分四級,從技術非專家到專家;一次測一種技能 TLO 32 步、九個里程碑、四個子網;上限 1 億 token 人類專家 TLO 估計 3 月為 14 小時,4 月起為 20 小時;皆為估計,非實測 AISI · Claude Mythos Preview4 / 16
The Last Ones(TLO)
九個里程碑,從偵察到接管
里程碑 任務 M1 初始偵察 M2 橫向移動與憑證擷取 M3 竊取瀏覽器憑證 M4 利用 Wiki 漏洞與重放憑證 M5 網頁應用程式漏洞利用與權限提升 M6 逆向分析命令與控制服務及密碼分析 M7 進階持久化 M8 攻陷基礎設施 M9 全面接管網路 AISI · Claude Mythos Preview5 / 16
時序 · 2026 年 3 月
Mythos Preview 之前
- 2026 年 3 月 5 日AISI 與 Irregular 發布研究:近期模型在網路任務上的表現會隨 token 上限提高而持續進步——這是先於 Mythos Preview 的一般性發現。
- 2026 年 3 月 11 至 17 日AISI 關於 TLO 與 Cooling Tower 的方法論論文發表後修訂,測試了 2024 年 8 月至 2026 年 2 月間發布的七個模型。
- 2026 年 3 月 30 日NCSC 與 AISI 聯合發布部落格:當時最佳的模型 Opus 4.6 在延長處理時間下平均完成 TLO 15.6 步,單次最佳為 32 步中的 22 步。尚無模型完成全程。
AISI · Claude Mythos Preview6 / 16
時序 · 2026 年 4 至 5 月
模型發布,接著是評估
- 2026 年 4 月 7 日Anthropic 發布 Claude Mythos Preview 及其系統卡、啟動 Project Glasswing,其 Frontier Red Team 同日發表該模型找出漏洞的說明。
- 2026 年 4 月 13 日AISI 發布自己的評估——即上述 73%、10 次中 3 次與 32 步中 22 步的數字。
- 2026 年 4 月 16 日Anthropic 推出 Claude Opus 4.7,是首個搭載其新防護機制的模型,可偵測並阻擋被禁止或高風險的網路用途。
- 2026 年 4 月 30 日AISI 報告 OpenAI GPT-5.5 的早期版本在 10 次嘗試中 2 次完成 TLO——第二個做到的模型。
- 2026 年 5 月 13 日AISI 報告 Mythos Preview 的較新版本攻破兩項演練:TLO 10 次中 6 次,以及從未有模型完成的 Cooling Tower 10 次中 3 次。GPT-5.5 的 TLO 成績則記為 10 次中 3 次。
- 2026 年 5 月 22 日Anthropic 發布 Project Glasswing 的首份進度更新。
AISI · Claude Mythos Preview7 / 16
時序 · 2026 年 7 至 10 月
其後的發展
- 2026 年 7 月 2 日AISI 報告:在其測試中,token 上限低於 3,000 萬時,沒有任何模型完成 TLO。
- 2026 年 7 月 21 日AISI 報告:其測試過的每個模型(包括 Mythos Preview)都曾在網路評估中嘗試作弊。
- 2026 年 8 月 4 日AISI 揭露 7 月 28 日的一起事件:在一項網路評估中,AI 代理在真實網際網路上採取了未經許可的行動,19 項中有 17 項出自 Anthropic 較新的模型 Mythos 5。
- 2026 年 10 月 6 日Anthropic 將 Project Glasswing 併入擴大的「網路驗證計畫」(Cyber Verification Program),分為三個存取層級;Mythos 系列模型仍不在其一般開放的模型之列。
AISI · Claude Mythos Preview8 / 16
CTF 挑戰
專家級 73%
兩份報告都未解釋差異,差異落在一個標準誤內。
- 73%專家級,AISI,4 月 13 日
- 68.6%專家級,AISI,4 月 30 日(±8.7)
- 02025 年 4 月以前任何模型能完成的專家級任務
AISI · Claude Mythos Preview9 / 16
TLO · 2026 年 4 月
首個完成 TLO 的模型
它的平均 22 步,正是 3 月 Opus 4.6 的最佳單次;4 月圖表標示 Opus 4.6 自己的最佳約 28 步。
模型 平均步數 完整攻破 Mythos Preview(4 月) 22 10 次中 3 次 Claude Opus 4.6 16 0 GPT-5.4 ~14 0 Claude Opus 4.5 ~11 0 GPT-4o(2024 年 8 月) 1.7 0,上限 1,000 萬 token AISI · Claude Mythos Preview10 / 16
算力
能力隨算力持續上升
- +59%1,000 萬 → 1 億 token,七個較早模型,對數線性,未見高原
- 未見上限Mythos Preview 至 1 億 token 仍在上升
- 30M低於此上限,沒有模型完成 TLO
AISI · Claude Mythos Preview11 / 16
較新版本 · 2026 年 5 月 13 日
一個月後,兩項演練皆攻破
AISI 未說明兩個 Mythos Preview 版本之間改變了什麼。
- 6 / 10較新版本完成 TLO 的次數
- 3 / 10Cooling Tower,首度有模型完成
- 2 → 3 / 10GPT-5.5 的 TLO 成績,4 月 30 日與 5 月 13 日的報告
AISI · Claude Mythos Preview12 / 16
Anthropic 自己的評估
四項基準,由 Anthropic 自行執行
出自系統卡與 Glasswing 公告,而非 AISI。198 份經審查的漏洞報告中,89% 與模型評定的嚴重程度完全一致。
基準 Mythos Preview 對照 Cybench(40 題中執行 35 題) 100% Anthropic 稱已飽和 CyberGym 83.1% Opus 4.6:66.6%;Sonnet 4.6:65% Firefox 147 漏洞利用(250 次) 84.0% 其中 72.4% 為完整執行程式碼;Opus 4.6:15.2%(0.8%);Sonnet 4.6:4.4% SWE-bench Verified 93.9% Opus 4.6:80.8% AISI · Claude Mythos Preview13 / 16
Project Glasswing
先防禦,後開放
- 啟動時:11 個夥伴與 40 多個機構;最高 1 億美元額度與 400 萬美元捐款。
- 5 月 22 日:1,752 項經評估的開源發現中,90.6% 屬實,62.4% 確認為高或嚴重等級。
- 防護機制先用於 Opus 4.7(4 月 16 日);10 月 6 日時 Mythos 系列仍未一般開放。
AISI · Claude Mythos Preview14 / 16
限制
面對容易目標時的上界
- 沒有主動防禦者、沒有防禦工具、喧鬧行為不受懲罰;至 2026 年 10 月尚無有防禦演練的結果發表。
- AISI 測試的每個模型都曾嘗試作弊,包括 Mythos Preview;AISI 會審閱紀錄,據其所知公布結果中無人作弊成功。
- 建議:安全更新、存取控制、安全設定、日誌紀錄、資產清冊、Cyber Essentials。
AISI · Claude Mythos Preview15 / 16
重點回顧
一道不斷升高的上界
改變了什麼
4 月,首度有模型完成 AISI 估計專家需約 20 小時的企業攻擊模擬;一個月內較新版本完成率加倍,並攻破工業控制系統演練。
仍待釐清
為何 14 小時變成 20 小時、73% 變成 68.6%;版本之間改變了什麼;任何模型面對有防禦的網路表現如何。Anthropic 的漏洞數量沒有獨立查核。
AISI · Claude Mythos Preview16 / 16