English

摘要 · 評估報告

AI 與資安 · 評估報告綜覽發布 2026 年 4 月 13 日

英國 AI Security Institute（AISI）

首個從頭到尾完整完成 AISI 網路攻防演練的模型

AISI 以 CTF 挑戰與自製的 32 步企業網路攻擊模擬（TLO）雙軌評估 Anthropic Claude Mythos Preview。專家級 CTF 達 73%，TLO 在 10 次嘗試中有 3 次完整走完全程——此前沒有任何模型完成過。報告中最值得注意的並非分數本身，而是效能隨算力對數線性成長且尚未見到上限。

  • 73%專家級 CTF 成功率
  • 3 / 10TLO 演練中完整完成的次數
  • 22 / 32TLO 平均完成步數（前一名為 16）
  • 100M每次嘗試的 token 上限

起 · 機構與方法 · 內容 1 / 3

英國 AI Security Institute 評估機構背景

  • 隸屬英國科學、創新與技術部（DSIT），2023 年成立。
  • 名稱由 AI Safety Institute 更新為 AI Security Institute，反映重心轉向具體國家安全威脅。
  • 建立難度遞進的評估框架：聊天式探測 → CTF 挑戰 → 多步驟攻擊模擬。
  • 持續追蹤前沿模型的網路作戰能力演進，為全球最系統化的政府評估機構之一。

CTF ＋ TLO 雙軌評估 一個測技術點，一個測全程作戰

  • CTF 挑戰

    特定技術情境

    • 資安界標準模擬攻擊，難度分入門、中級、進階、專家四級。
    • 衡量在單一技術情境下的攻擊能力。
    • 另含 Cybench——40 題公開標準評估套件。

  • TLO 演練

    32 步企業網路攻擊模擬

    AISI 自製，未公開

    • 從初始偵察到完整網路接管，橫跨 M1–M9 九大里程碑。
    • 人類專家完成全程約需 20 小時。
    • 每次嘗試的 token 上限為 100M。

The Last Ones：九大里程碑 TLO 的攻擊鏈結構

里程碑任務內容
M1Initial Reconnaissance 初始偵察
M2Lateral Movement & Credential Extraction 橫向移動與憑證取得
M3Browser Credential Theft 瀏覽器憑證竊取
M4Wiki Exploit & Credential Replay 漏洞利用與憑證重放
M5Web App Exploit & Privilege Escalation 提權
M6C2 Reverse Engineering & Crypto Analysis 逆向與密碼分析
M7Advanced Persistence 進階持久化
M8Infrastructure Compromise 基礎設施入侵
M9Full Network Takeover 完整網路接管

轉 · 成績與擴展 · 內容 2 / 3

CTF：專家級達 73% Cybench 已飽和

入門級接近飽和、中級高分、專家級 73%；Cybench 40 題全數通過。2025 年 4 月前，沒有任何 AI 模型能完成專家級 CTF 任務。Cybench 現已完全飽和——它不再是區分前沿模型能力的有效指標，這本身就是一項評估結論。

  • Cybench 100%40 題全通過；該套件已不具鑑別力。
  • 專家級 73%一年前此級別的成功率為零。

TLO：首次完整完成 平均完成步數，滿分 32 步 / 100M tokens

模型平均步數完整完成次數
Mythos Preview223 次 ✓
Claude Opus 4.6160 次
GPT-5.4~140 次
Claude Opus 4.5110 次
GPT-4o（2024-08）1.70 次（僅用 10M tokens）

效能隨算力對數線性成長 報告中最值得關注的一段

效能以對數線性方式隨推理時計算資源（inference-time compute）擴展。從 10M 提升到 100M tokens，效能最大提升幅度為 59%；而在測試上限 100M tokens 時仍未見瓶頸。AISI 預期，若提供超過 100M tokens 的預算，效能將持續提升。

  • +59%10M → 100M tokens 的最大效能提升幅度。
  • 未見上限更多算力＝更強攻擊能力，且目前看不到天花板。

整體能力全景 跨評測比較

評估項目Mythos對比
Firefox 漏洞利用84%Opus 4.6：15.2%
SWE-bench Verified93.9%Opus 4.6：80.8%
CyberGym83.1%—
Cybench（40 題）100%已飽和
零日漏洞發現數千個含潛伏 27 年的舊漏洞（OpenBSD）

Anthropic red team 的 198 份漏洞報告中，89% 與 Mythos 的嚴重性評估完全一致。零日漏洞涵蓋所有主要作業系統與瀏覽器。

合 · 決策與侷限 · 內容 3 / 3

Project Glasswing：不公開發布的決策 名稱取自玻璃翅蝴蝶

  • 命名

    玻璃翅蝴蝶

    • 在不造成傷害的情況下暴露隱藏漏洞。

  • 規模

    11 → 40+ 機構

    • 合作夥伴包含 Google、Microsoft、AWS、Nvidia、JPMorgan 等。
    • 資金規模：最高 1 億美元使用額度。
不公開發布的原因權重（分析估計）
真實資安威脅（公開等同免費紅隊工具）~70%
恐嚇行銷／品牌敘事~15%
算力不足／服務成本過高~15%

評估環境的侷限 分數之所以不能直接外推

  • 缺乏主動防禦者——沒有 SOC 人員即時應對。
  • 無端點偵測——EDR 工具在測試環境中不存在。
  • 噪聲行動無懲罰機制——現實中會暴露的行為在此不受代價。

NCSC 的建議：回歸基本功 因應方向

  • 定期套用安全更新，防止已知漏洞被快速利用。
  • 強健的存取控制搭配安全設定（Secure Configuration）。
  • 完整日誌記錄；取得 NCSC Cyber Essentials 認證。

為何這是一個轉折點

Mythos 是 AI 首次在完整模擬的企業攻擊場景中達到人類專家級的自主作戰能力。但要注意兩件事同時為真：測試環境沒有防禦方，因此分數是上界而非實戰預測；而效能隨算力持續成長且未見上限，因此這個上界還會繼續上移。