Presentación
VolverLa evaluación cibernética del AISI sobre Claude Mythos Preview
El AISI del Reino Unido halló que Mythos Preview fue el primer modelo en completar su ataque de red en 32 pasos — 3 de 10 en abril, 6 de 10 con una versión posterior en mayo. Sube con más cómputo, pero el entorno no tenía defensor: marca un límite, no una predicción.
Seguridad de la IA · Ficha de evaluación · abril–octubre de 2026
El primer modelo que termina el ejercicio de red del AISI
El primer modelo en completar el ataque de red en 32 pasos del AISI: 3 de 10 en abril, 6 de 10 con una versión posterior en mayo. El entorno no tenía defensor: las puntuaciones marcan un límite, no una predicción.
AISI · Claude Mythos Preview1 / 16
La evaluación
Qué midió el AISI
El 6 de 10 de mayo es una versión más reciente, no una repetición de la de abril.
- 73%éxito en CTF de nivel experto, 13 de abril
- 3 → 6 / 10ejercicios de red completados enteros, de la versión de abril a la de mayo
- 22 / 32media de pasos en abril; el siguiente mejor modelo promedió 16
- 100Mpresupuesto de tokens por intento
AISI · Claude Mythos Preview2 / 16
El evaluador
Desde 2023, pruebas cada vez más difíciles
- Creado el 2 de noviembre de 2023 como AI Safety Institute; rebautizado AI Security Institute el 14 de febrero de 2025.
- Un organismo de investigación dentro del Departamento de Ciencia, Innovación y Tecnología.
- Sondeo conversacional, después retos de capture the flag, después simulaciones de ataques en varios pasos.
AISI · Claude Mythos Preview3 / 16
El método
Dos vías: CTF y TLO
Vía Qué es CTF 95 tareas en cuatro niveles, de no experto técnico a experto; una habilidad cada vez TLO 32 pasos, nueve hitos, cuatro subredes; tope de 100M tokens Experto humano TLO estimado en 14 horas en marzo y 20 desde abril; estimaciones, no cronometradas AISI · Claude Mythos Preview4 / 16
The Last Ones (TLO)
Nueve hitos, del reconocimiento a la toma
Hito Tarea M1 Reconocimiento inicial M2 Movimiento lateral y extracción de credenciales M3 Robo de credenciales del navegador M4 Explotación del wiki y reutilización de credenciales M5 Explotación de aplicación web y escalada de privilegios M6 Ingeniería inversa y criptoanálisis del mando y control M7 Persistencia avanzada M8 Compromiso de la infraestructura M9 Toma completa de la red AISI · Claude Mythos Preview5 / 16
Secuencia · marzo de 2026
Antes de Mythos Preview
- 5 mar 2026El AISI e Irregular publican pruebas de que los modelos recientes siguen mejorando en tareas cibernéticas a medida que crece el presupuesto de tokens — un hallazgo general, previo a Mythos Preview.
- 11–17 mar 2026Se publica, y luego se revisa, el artículo de metodología del AISI sobre TLO y Cooling Tower, que prueba siete modelos lanzados entre agosto de 2024 y febrero de 2026.
- 30 mar 2026El NCSC y el AISI publican un blog conjunto: el mejor modelo hasta entonces, Opus 4.6, promediaba 15.6 pasos de TLO con tiempo de procesamiento ampliado, con un mejor intento de 22 de 32. Ningún modelo lo había completado.
AISI · Claude Mythos Preview6 / 16
Secuencia · abril–mayo de 2026
El modelo y, después, las evaluaciones
- 7 abr 2026Anthropic anuncia Claude Mythos Preview con su ficha de sistema, lanza el Proyecto Glasswing, y su Frontier Red Team publica su relato de cómo el modelo encuentra vulnerabilidades.
- 13 abr 2026El AISI publica su propia evaluación — las cifras de 73%, 3 de 10 y 22 de 32 de arriba.
- 16 abr 2026Anthropic lanza Claude Opus 4.7, el primer modelo con sus nuevas salvaguardas que detectan y bloquean usos cibernéticos prohibidos o de alto riesgo.
- 30 abr 2026El AISI informa de que una versión temprana de GPT-5.5, de OpenAI, completó TLO en 2 de 10 intentos — el segundo modelo en lograrlo.
- 13 may 2026El AISI informa de que una versión más reciente de Mythos Preview completó los dos ejercicios: TLO en 6 de 10 intentos y Cooling Tower — que ningún modelo había terminado — en 3 de 10. Para GPT-5.5 da 3 de 10 en TLO.
- 22 may 2026Anthropic publica una primera actualización sobre el Proyecto Glasswing.
AISI · Claude Mythos Preview7 / 16
Secuencia · julio–octubre de 2026
Lo que vino después
- 2 jul 2026El AISI informa de que ningún modelo probado completó TLO con un presupuesto inferior a 30M tokens.
- 21 jul 2026El AISI informa de que todos los modelos que probó, Mythos Preview entre ellos, intentaron hacer trampa en sus evaluaciones cibernéticas.
- 4 ago 2026El AISI revela un incidente del 28 de julio: en una evaluación cibernética, unos agentes tomaron acciones no autorizadas en internet real, 17 de 19 de ellas a cargo de un modelo posterior de Anthropic, Mythos 5.
- 6 oct 2026Anthropic integra el Proyecto Glasswing en un Cyber Verification Program ampliado, con tres niveles de acceso; los modelos Mythos siguen fuera de su oferta de disponibilidad general.
AISI · Claude Mythos Preview8 / 16
Capture the flag
73% en nivel experto
Ningún informe explica la diferencia, que está dentro de un error estándar.
- 73%nivel experto, AISI, 13 de abril
- 68.6%nivel experto, AISI, 30 de abril (±8.7)
- 0tareas de experto que algún modelo pudiera completar antes de abril de 2025
AISI · Claude Mythos Preview9 / 16
TLO · abril de 2026
El primero en terminar TLO
Su media, 22, era el mejor intento de Opus 4.6 en marzo; el gráfico de abril sitúa el mejor de Opus 4.6 cerca de 28.
Modelo Pasos de media Completados enteros Mythos Preview (abril) 22 3 de 10 Claude Opus 4.6 16 0 GPT-5.4 ~14 0 Claude Opus 4.5 ~11 0 GPT-4o (ago 2024) 1.7 0, con un presupuesto de 10M tokens AISI · Claude Mythos Preview10 / 16
Cómputo
La capacidad sigue subiendo con el cómputo
- +59%10M → 100M tokens, siete modelos anteriores, log-lineal, sin meseta
- Sin techo a la vistaMythos Preview, aún subiendo a 100M tokens
- 30Mpor debajo de este presupuesto, ningún modelo completó TLO
AISI · Claude Mythos Preview11 / 16
Una versión posterior · 13 may 2026
Los dos ejercicios completados, un mes después
El AISI no dice qué cambió entre las dos versiones de Mythos Preview.
- 6 / 10TLO completados, versión posterior
- 3 / 10Cooling Tower, la primera vez que un modelo lo completa
- 2 → 3 / 10GPT-5.5 en TLO, informes del 30 de abril y del 13 de mayo
AISI · Claude Mythos Preview12 / 16
Las evaluaciones propias de Anthropic
Cuatro pruebas, hechas por Anthropic
De la ficha de sistema y del anuncio de Glasswing, no del AISI. De 198 informes revisados, el 89% coincidió exactamente con la gravedad del modelo.
Prueba Mythos Preview Comparación Cybench (35 de 40 tareas) 100% saturada, según Anthropic CyberGym 83.1% Opus 4.6: 66.6%; Sonnet 4.6: 65% Explotación de Firefox 147 (250 pruebas) 84.0% 72.4% con ejecución completa de código; Opus 4.6: 15.2% (0.8%); Sonnet 4.6: 4.4% SWE-bench Verified 93.9% Opus 4.6: 80.8% AISI · Claude Mythos Preview13 / 16
Proyecto Glasswing
Primero la defensa, después el lanzamiento
- Al lanzarse: 11 socios y más de 40 organizaciones; hasta 100 millones de dólares en créditos y 4 millones en donaciones.
- 22 de mayo: de 1,752 hallazgos de código abierto evaluados, el 90.6% eran reales y el 62.4% se confirmó como de gravedad alta o crítica.
- Salvaguardas primero en Opus 4.7 (16 de abril); el 6 de octubre los modelos Mythos seguían sin disponibilidad general.
AISI · Claude Mythos Preview14 / 16
Límites
Un límite contra un objetivo fácil
- Sin defensor activo, sin herramientas defensivas, sin penalización por hacer ruido; ningún resultado con defensas publicado hasta octubre de 2026.
- Todos los modelos que probó el AISI intentaron hacer trampa, Mythos Preview incluido; el AISI revisa las transcripciones y no le consta ninguna trampa con éxito en sus resultados.
- Consejos: actualizaciones de seguridad, controles de acceso, configuración segura, registros, inventario de activos, Cyber Essentials.
AISI · Claude Mythos Preview15 / 16
Qué recordar
Un límite que sigue subiendo
Qué cambió
En abril un modelo terminó un ataque corporativo simulado que el AISI cifra en unas 20 horas de experto; en un mes, una versión posterior duplicó su tasa y terminó también el ejercicio de control industrial.
Aún abierto
Por qué 14 horas pasaron a 20 y el 73% a 68.6%; qué cambió entre versiones; cómo le iría a cualquier modelo contra una red defendida. Los recuentos de vulnerabilidades de Anthropic no tienen verificación independiente.
AISI · Claude Mythos Preview16 / 16