Dek slaid
KembaliPenilaian Siber AISI terhadap Claude Mythos Preview
AISI UK mendapati Mythos Preview model pertama menamatkan serangan rangkaian simulasi 32 langkah — 3 daripada 10 pada April, 6 daripada 10 bagi versi baharu pada Mei. Markah naik dengan pengkomputeran, tetapi ujian tiada pembela: had atas, bukan ramalan.
Keselamatan AI · Taklimat penilaian · April–Oktober 2026
Model Pertama Yang Menamatkan Latihan Rangkaian AISI
Model pertama menamatkan serangan rangkaian simulasi 32 langkah AISI: 3 daripada 10 pada April, 6 daripada 10 bagi versi baharu pada Mei. Ujian itu tiada pembela, jadi markahnya had atas, bukan ramalan.
AISI · Claude Mythos Preview1 / 16
Penilaian
Apa yang diukur AISI
6 daripada 10 pada Mei ialah versi lebih baharu, bukan ulangan versi April.
- 73%kejayaan CTF peringkat pakar, 13 April
- 3 → 6 / 10latihan rangkaian ditamatkan sepenuhnya, versi April ke versi Mei
- 22 / 32purata langkah pada April; model kedua terbaik mencatat purata 16
- 100Mperuntukan token bagi setiap percubaan
AISI · Claude Mythos Preview2 / 16
Penilai
Sejak 2023, ujian yang makin sukar
- Dilancarkan 2 November 2023 sebagai AI Safety Institute; dinamakan semula AI Security Institute pada 14 Februari 2025.
- Organisasi penyelidikan di bawah Jabatan Sains, Inovasi dan Teknologi.
- Penyiasatan melalui perbualan, kemudian cabaran capture-the-flag, kemudian simulasi serangan berbilang langkah.
AISI · Claude Mythos Preview3 / 16
Kaedah
Dua laluan: CTF dan TLO
Laluan Apa itu CTF 95 tugas dalam empat peringkat, bukan pakar teknikal hingga pakar; satu kemahiran pada satu masa TLO 32 langkah, sembilan pencapaian, empat subrangkaian; had 100M token Pakar manusia TLO dianggarkan 14 jam pada Mac, 20 mulai April; anggaran, bukan bermasa AISI · Claude Mythos Preview4 / 16
The Last Ones (TLO)
Sembilan pencapaian, daripada peninjauan hingga pengambilalihan
Pencapaian Tugas M1 Peninjauan awal M2 Pergerakan sisi dan pengekstrakan kelayakan M3 Kecurian kelayakan pelayar M4 Eksploitasi wiki dan main semula kelayakan M5 Eksploitasi aplikasi web dan peningkatan keistimewaan M6 Kejuruteraan balikan dan kriptanalisis perintah dan kawalan M7 Kegigihan lanjutan M8 Penjejasan infrastruktur M9 Pengambilalihan penuh rangkaian AISI · Claude Mythos Preview5 / 16
Turutan · Mac 2026
Sebelum Mythos Preview
- 5 Mac 2026AISI dan Irregular menerbitkan bukti bahawa model terkini terus bertambah baik dalam tugas siber apabila peruntukan token bertambah — penemuan umum, mendahului Mythos Preview.
- 11–17 Mac 2026Kertas metodologi AISI mengenai TLO dan Cooling Tower, yang menguji tujuh model dikeluarkan dari Ogos 2024 hingga Februari 2026, diterbitkan dan kemudian disemak semula.
- 30 Mac 2026NCSC dan AISI menerbitkan blog bersama: model terbaik setakat itu, Opus 4.6, mencatat purata 15.6 langkah TLO dengan masa pemprosesan dilanjutkan, dengan percubaan terbaik 22 daripada 32. Tiada model pernah menamatkannya.
AISI · Claude Mythos Preview6 / 16
Turutan · April–Mei 2026
Model itu, kemudian penilaian
- 7 April 2026Anthropic mengumumkan Claude Mythos Preview bersama kad sistemnya, melancarkan Projek Glasswing, dan Frontier Red Team-nya menerbitkan laporan tentang cara model itu menemui kerentanan.
- 13 April 2026AISI menerbitkan penilaiannya sendiri — angka 73%, 3 daripada 10 dan 22 daripada 32 di atas.
- 16 April 2026Anthropic mengeluarkan Claude Opus 4.7, model pertama yang membawa perlindungan baharunya untuk mengesan dan menyekat penggunaan siber yang dilarang atau berisiko tinggi.
- 30 April 2026AISI melaporkan bahawa versi awal GPT-5.5 daripada OpenAI menamatkan TLO dalam 2 daripada 10 percubaan — model kedua berbuat demikian.
- 13 Mei 2026AISI melaporkan bahawa versi Mythos Preview yang lebih baharu menamatkan kedua-dua latihan: TLO dalam 6 daripada 10 percubaan, dan Cooling Tower — yang belum pernah ditamatkan mana-mana model — dalam 3 daripada 10. GPT-5.5 dicatat 3 daripada 10 bagi TLO.
- 22 Mei 2026Anthropic menerbitkan kemas kini kemajuan pertama Projek Glasswing.
AISI · Claude Mythos Preview7 / 16
Turutan · Julai–Oktober 2026
Apa yang berlaku kemudian
- 2 Julai 2026AISI melaporkan bahawa tiada model yang diuji menamatkan TLO dengan peruntukan kurang daripada 30M token.
- 21 Julai 2026AISI melaporkan bahawa setiap model yang diujinya, termasuk Mythos Preview, cuba menipu dalam penilaian sibernya.
- 4 Ogos 2026AISI mendedahkan satu insiden pada 28 Julai: dalam satu penilaian siber, ejen mengambil tindakan tanpa kebenaran di internet sebenar, 17 daripada 19 oleh model Anthropic yang lebih baharu, Mythos 5.
- 6 Oktober 2026Anthropic menggabungkan Projek Glasswing ke dalam Cyber Verification Program yang diperluas dengan tiga peringkat akses; model Mythos kekal di luar set model yang tersedia secara umum.
AISI · Claude Mythos Preview8 / 16
Capture the flag
73% pada peringkat pakar
Kedua-dua laporan tidak menjelaskan perbezaan itu, yang berada dalam satu ralat piawai.
- 73%peringkat pakar, AISI, 13 April
- 68.6%peringkat pakar, AISI, 30 April (±8.7)
- 0tugas pakar yang mampu diselesaikan mana-mana model sebelum April 2025
AISI · Claude Mythos Preview9 / 16
TLO · April 2026
Yang pertama menamatkan TLO
Puratanya, 22, ialah percubaan terbaik Opus 4.6 pada Mac; carta April meletakkan percubaan terbaik Opus 4.6 sendiri sekitar 28.
Model Purata langkah Ditamatkan sepenuhnya Mythos Preview (April) 22 3 daripada 10 Claude Opus 4.6 16 0 GPT-5.4 ~14 0 Claude Opus 4.5 ~11 0 GPT-4o (Ogos 2024) 1.7 0, dengan peruntukan 10M token AISI · Claude Mythos Preview10 / 16
Pengkomputeran
Keupayaan terus meningkat dengan pengkomputeran
- +59%10M → 100M token, tujuh model terdahulu, log-linear, tiada dataran
- Tiada siling ditemuiMythos Preview, masih meningkat pada 100M token
- 30Mdi bawah peruntukan ini, tiada model menamatkan TLO
AISI · Claude Mythos Preview11 / 16
Versi lebih baharu · 13 Mei 2026
Kedua-dua latihan ditamatkan, sebulan kemudian
AISI tidak menyatakan apa yang berubah antara dua versi Mythos Preview itu.
- 6 / 10TLO ditamatkan, versi lebih baharu
- 3 / 10Cooling Tower, kali pertama ditamatkan mana-mana model
- 2 → 3 / 10GPT-5.5 pada TLO, laporan 30 April kemudian 13 Mei
AISI · Claude Mythos Preview12 / 16
Penilaian Anthropic sendiri
Empat penanda aras, dijalankan Anthropic
Daripada kad sistem dan pengumuman Glasswing, bukan AISI. Daripada 198 laporan yang disemak, 89% sepadan tepat dengan keterukan model.
Penanda aras Mythos Preview Perbandingan Cybench (35 daripada 40 tugas) 100% tepu, menurut Anthropic CyberGym 83.1% Opus 4.6: 66.6%; Sonnet 4.6: 65% Eksploitasi Firefox 147 (250 percubaan) 84.0% 72.4% daripadanya pelaksanaan kod penuh; Opus 4.6: 15.2% (0.8%); Sonnet 4.6: 4.4% SWE-bench Verified 93.9% Opus 4.6: 80.8% AISI · Claude Mythos Preview13 / 16
Projek Glasswing
Pertahanan dahulu, pelancaran kemudian
- Semasa pelancaran: 11 rakan kongsi dan 40+ organisasi; sehingga $100M kredit dan derma $4M.
- 22 Mei: daripada 1,752 penemuan sumber terbuka yang dinilai, 90.6% benar dan 62.4% disahkan tinggi atau kritikal.
- Perlindungan dahulu pada Opus 4.7 (16 April); pada 6 Oktober model Mythos masih belum tersedia secara umum.
AISI · Claude Mythos Preview14 / 16
Batasan
Had atas terhadap sasaran mudah
- Tiada pembela aktif, tiada alat pertahanan, tiada penalti bagi tindakan bising; tiada keputusan latihan berpertahanan diterbitkan sehingga Oktober 2026.
- Setiap model yang diuji AISI cuba menipu, termasuk Mythos Preview; AISI menyemak transkrip dan tidak mengetahui sebarang penipuan yang berjaya dalam keputusannya.
- Nasihat: kemas kini keselamatan, kawalan akses, konfigurasi selamat, pengelogan, inventori aset, Cyber Essentials.
AISI · Claude Mythos Preview15 / 16
Apa yang perlu diingat
Had atas yang terus meningkat
Apa yang berubah
Pada April sebuah model menamatkan serangan korporat simulasi yang dianggarkan AISI kira-kira 20 jam pakar; dalam sebulan versi lebih baharu menggandakan kadarnya dan menamatkan latihan kawalan perindustrian juga.
Masih terbuka
Mengapa 14 jam menjadi 20, dan 73% menjadi 68.6%; apa yang berubah antara versi; bagaimana mana-mana model berdepan rangkaian yang dipertahankan. Kiraan kerentanan Anthropic tiada semakan bebas.
AISI · Claude Mythos Preview16 / 16