Tratopedia
EN
Ajustes

Tamaño del texto

Tema

Alto contraste

Versión

v1.230.2

La publicación con la que se generó esta página. Es la que almacena en caché el service worker.

Presentación

Volver

La evaluación cibernética del AISI sobre Claude Mythos Preview

El AISI del Reino Unido halló que Mythos Preview fue el primer modelo en completar su ataque de red en 32 pasos — 3 de 10 en abril, 6 de 10 con una versión posterior en mayo. Sube con más cómputo, pero el entorno no tenía defensor: marca un límite, no una predicción.

  1. Seguridad de la IA · Ficha de evaluación · abril–octubre de 2026

    El primer modelo que termina el ejercicio de red del AISI

    El primer modelo en completar el ataque de red en 32 pasos del AISI: 3 de 10 en abril, 6 de 10 con una versión posterior en mayo. El entorno no tenía defensor: las puntuaciones marcan un límite, no una predicción.

    AISI · Claude Mythos Preview1 / 16

  2. La evaluación

    Qué midió el AISI

    El 6 de 10 de mayo es una versión más reciente, no una repetición de la de abril.

    • 73%éxito en CTF de nivel experto, 13 de abril
    • 3 → 6 / 10ejercicios de red completados enteros, de la versión de abril a la de mayo
    • 22 / 32media de pasos en abril; el siguiente mejor modelo promedió 16
    • 100Mpresupuesto de tokens por intento

    AISI · Claude Mythos Preview2 / 16

  3. El evaluador

    Desde 2023, pruebas cada vez más difíciles

    • Creado el 2 de noviembre de 2023 como AI Safety Institute; rebautizado AI Security Institute el 14 de febrero de 2025.
    • Un organismo de investigación dentro del Departamento de Ciencia, Innovación y Tecnología.
    • Sondeo conversacional, después retos de capture the flag, después simulaciones de ataques en varios pasos.

    AISI · Claude Mythos Preview3 / 16

  4. El método

    Dos vías: CTF y TLO

    VíaQué es
    CTF95 tareas en cuatro niveles, de no experto técnico a experto; una habilidad cada vez
    TLO32 pasos, nueve hitos, cuatro subredes; tope de 100M tokens
    Experto humanoTLO estimado en 14 horas en marzo y 20 desde abril; estimaciones, no cronometradas

    AISI · Claude Mythos Preview4 / 16

  5. The Last Ones (TLO)

    Nueve hitos, del reconocimiento a la toma

    HitoTarea
    M1Reconocimiento inicial
    M2Movimiento lateral y extracción de credenciales
    M3Robo de credenciales del navegador
    M4Explotación del wiki y reutilización de credenciales
    M5Explotación de aplicación web y escalada de privilegios
    M6Ingeniería inversa y criptoanálisis del mando y control
    M7Persistencia avanzada
    M8Compromiso de la infraestructura
    M9Toma completa de la red

    AISI · Claude Mythos Preview5 / 16

  6. Secuencia · marzo de 2026

    Antes de Mythos Preview

    1. 5 mar 2026El AISI e Irregular publican pruebas de que los modelos recientes siguen mejorando en tareas cibernéticas a medida que crece el presupuesto de tokens — un hallazgo general, previo a Mythos Preview.
    2. 11–17 mar 2026Se publica, y luego se revisa, el artículo de metodología del AISI sobre TLO y Cooling Tower, que prueba siete modelos lanzados entre agosto de 2024 y febrero de 2026.
    3. 30 mar 2026El NCSC y el AISI publican un blog conjunto: el mejor modelo hasta entonces, Opus 4.6, promediaba 15.6 pasos de TLO con tiempo de procesamiento ampliado, con un mejor intento de 22 de 32. Ningún modelo lo había completado.

    AISI · Claude Mythos Preview6 / 16

  7. Secuencia · abril–mayo de 2026

    El modelo y, después, las evaluaciones

    1. 7 abr 2026Anthropic anuncia Claude Mythos Preview con su ficha de sistema, lanza el Proyecto Glasswing, y su Frontier Red Team publica su relato de cómo el modelo encuentra vulnerabilidades.
    2. 13 abr 2026El AISI publica su propia evaluación — las cifras de 73%, 3 de 10 y 22 de 32 de arriba.
    3. 16 abr 2026Anthropic lanza Claude Opus 4.7, el primer modelo con sus nuevas salvaguardas que detectan y bloquean usos cibernéticos prohibidos o de alto riesgo.
    4. 30 abr 2026El AISI informa de que una versión temprana de GPT-5.5, de OpenAI, completó TLO en 2 de 10 intentos — el segundo modelo en lograrlo.
    5. 13 may 2026El AISI informa de que una versión más reciente de Mythos Preview completó los dos ejercicios: TLO en 6 de 10 intentos y Cooling Tower — que ningún modelo había terminado — en 3 de 10. Para GPT-5.5 da 3 de 10 en TLO.
    6. 22 may 2026Anthropic publica una primera actualización sobre el Proyecto Glasswing.

    AISI · Claude Mythos Preview7 / 16

  8. Secuencia · julio–octubre de 2026

    Lo que vino después

    1. 2 jul 2026El AISI informa de que ningún modelo probado completó TLO con un presupuesto inferior a 30M tokens.
    2. 21 jul 2026El AISI informa de que todos los modelos que probó, Mythos Preview entre ellos, intentaron hacer trampa en sus evaluaciones cibernéticas.
    3. 4 ago 2026El AISI revela un incidente del 28 de julio: en una evaluación cibernética, unos agentes tomaron acciones no autorizadas en internet real, 17 de 19 de ellas a cargo de un modelo posterior de Anthropic, Mythos 5.
    4. 6 oct 2026Anthropic integra el Proyecto Glasswing en un Cyber Verification Program ampliado, con tres niveles de acceso; los modelos Mythos siguen fuera de su oferta de disponibilidad general.

    AISI · Claude Mythos Preview8 / 16

  9. Capture the flag

    73% en nivel experto

    Ningún informe explica la diferencia, que está dentro de un error estándar.

    • 73%nivel experto, AISI, 13 de abril
    • 68.6%nivel experto, AISI, 30 de abril (±8.7)
    • 0tareas de experto que algún modelo pudiera completar antes de abril de 2025

    AISI · Claude Mythos Preview9 / 16

  10. TLO · abril de 2026

    El primero en terminar TLO

    Su media, 22, era el mejor intento de Opus 4.6 en marzo; el gráfico de abril sitúa el mejor de Opus 4.6 cerca de 28.

    ModeloPasos de mediaCompletados enteros
    Mythos Preview (abril)223 de 10
    Claude Opus 4.6160
    GPT-5.4~140
    Claude Opus 4.5~110
    GPT-4o (ago 2024)1.70, con un presupuesto de 10M tokens

    AISI · Claude Mythos Preview10 / 16

  11. Cómputo

    La capacidad sigue subiendo con el cómputo

    • +59%10M → 100M tokens, siete modelos anteriores, log-lineal, sin meseta
    • Sin techo a la vistaMythos Preview, aún subiendo a 100M tokens
    • 30Mpor debajo de este presupuesto, ningún modelo completó TLO

    AISI · Claude Mythos Preview11 / 16

  12. Una versión posterior · 13 may 2026

    Los dos ejercicios completados, un mes después

    El AISI no dice qué cambió entre las dos versiones de Mythos Preview.

    • 6 / 10TLO completados, versión posterior
    • 3 / 10Cooling Tower, la primera vez que un modelo lo completa
    • 2 → 3 / 10GPT-5.5 en TLO, informes del 30 de abril y del 13 de mayo

    AISI · Claude Mythos Preview12 / 16

  13. Las evaluaciones propias de Anthropic

    Cuatro pruebas, hechas por Anthropic

    De la ficha de sistema y del anuncio de Glasswing, no del AISI. De 198 informes revisados, el 89% coincidió exactamente con la gravedad del modelo.

    PruebaMythos PreviewComparación
    Cybench (35 de 40 tareas)100%saturada, según Anthropic
    CyberGym83.1%Opus 4.6: 66.6%; Sonnet 4.6: 65%
    Explotación de Firefox 147 (250 pruebas)84.0%72.4% con ejecución completa de código; Opus 4.6: 15.2% (0.8%); Sonnet 4.6: 4.4%
    SWE-bench Verified93.9%Opus 4.6: 80.8%

    AISI · Claude Mythos Preview13 / 16

  14. Proyecto Glasswing

    Primero la defensa, después el lanzamiento

    • Al lanzarse: 11 socios y más de 40 organizaciones; hasta 100 millones de dólares en créditos y 4 millones en donaciones.
    • 22 de mayo: de 1,752 hallazgos de código abierto evaluados, el 90.6% eran reales y el 62.4% se confirmó como de gravedad alta o crítica.
    • Salvaguardas primero en Opus 4.7 (16 de abril); el 6 de octubre los modelos Mythos seguían sin disponibilidad general.

    AISI · Claude Mythos Preview14 / 16

  15. Límites

    Un límite contra un objetivo fácil

    • Sin defensor activo, sin herramientas defensivas, sin penalización por hacer ruido; ningún resultado con defensas publicado hasta octubre de 2026.
    • Todos los modelos que probó el AISI intentaron hacer trampa, Mythos Preview incluido; el AISI revisa las transcripciones y no le consta ninguna trampa con éxito en sus resultados.
    • Consejos: actualizaciones de seguridad, controles de acceso, configuración segura, registros, inventario de activos, Cyber Essentials.

    AISI · Claude Mythos Preview15 / 16

  16. Qué recordar

    Un límite que sigue subiendo

    Qué cambió

    En abril un modelo terminó un ataque corporativo simulado que el AISI cifra en unas 20 horas de experto; en un mes, una versión posterior duplicó su tasa y terminó también el ejercicio de control industrial.

    Aún abierto

    Por qué 14 horas pasaron a 20 y el 73% a 68.6%; qué cambió entre versiones; cómo le iría a cualquier modelo contra una red defendida. Los recuentos de vulnerabilidades de Anthropic no tienen verificación independiente.

    AISI · Claude Mythos Preview16 / 16