Model Evaluation and Threat Research (METR) es un instituto de investigación sin fines de lucro, con sede en Berkeley, California, que evalúa las capacidades de los modelos de inteligencia artificial de vanguardia para llevar a cabo tareas de largo plazo y con agentes inteligentes que, según algunos investigadores, podrían plantear riesgos catastróficos para la sociedad. METR ha trabajado con empresas líderes en IA para llevar a cabo evaluaciones de modelos previas al despliegue y contribuir a las tarjetas del sistema, incluidos los modelos o3, o4-mini, GPT-4o y GPT-4.5 de OpenAI, y el modelo Claude de Anthropic. Tras los ciberataques de OpenAI a HuggingFace en 2026, se invitó a METR a llevar a cabo una investigación independiente del incidente. El 26 de agosto de 2026 publicó un informe sobre el comportamiento, el razonamiento y la colaboración de los agentes durante el incidente.
La directora ejecutiva y fundadora de METR es Beth Barnes, una exinvestigadora de alineación en OpenAI que se marchó en 2022 para formar ARC Evals, la división de evaluación del Centro de Investigación de Alineación de Paul Christiano. En diciembre de 2023, ARC Evals se separó y se convirtió en una organización sin fines de lucro independiente 501(c)(3) y pasó a llamarse METR.
Investigación
Una parte sustancial de la investigación de METR se centra en evaluar las capacidades de los sistemas de IA para llevar a cabo automejora recursiva, incluido RE-Bench, un benchmark diseñado para probar si las IA pueden "resolver tareas de ingeniería de investigación y acelerar la I+D de la IA".
Estimaciones del tiempo de duplicación
miniaturadeimagen|El gráfico muestra que la duración de las tareas que los modelos de frontera son capaces de ejecutar con una tasa de éxito del 50% se duplicó cada 7 meses desde 2019 hasta 2024. La región sombreada representa un intervalo de confianza del 95%.
En marzo de 2025, METR publicó un documento que señalaba que la duración de las tareas de ingeniería de software que el modelo de IA líder podía completar tuvo un tiempo de duplicación de aproximadamente 7 meses entre 2019 y 2024.
En enero de 2026, METR publicó una nueva versión de su modelo de estimación de horizontes temporales (Time Horizon 1.1). Según el modelo actualizado, el ritmo de progreso de las capacidades de IA ha aumentado desde 2023, con un tiempo de duplicación posterior a 2023 estimado en 130,8 días (4,3 meses). Se estima, por lo tanto, que el progreso es un 20% más rápido.
Mediciones del horizonte temporal
METR publica un "horizonte temporal de finalización de tareas" para los modelos de IA analizados. Esto mide la "duración de la tarea (medida por el tiempo de finalización de un experto humano) en la que se predice que un agente de IA tendrá éxito con un nivel de fiabilidad determinado". La métrica se presenta en dos variantes: el horizonte temporal del 50%, que indica la duración de la tarea en la que se estima que un modelo de IA tendrá éxito el 50% de las veces, y el horizonte temporal del 80%, que indica la duración de la tarea en la que se estima que un modelo de IA tendrá éxito el 80% de las veces. METR ha publicado dos versiones del modelo subyacente: Time Horizon 1.0 y Time Horizon 1.1, esta última introducida en enero de 2026.
Al 9 de mayo de 2026 el modelo con mejor rendimiento era Claude Mythos, con un horizonte temporal del 50 % de al menos 16 horas y un horizonte temporal del 80 % de 3 horas y 6 minutos. METR señala que "las mediciones superiores a 16 [horas] no son fiables con [su] conjunto de tareas actual". La siguiente tabla proporciona estimaciones del horizonte temporal ordenadas por la fecha de lanzamiento de cada modelo:
+ Duración de la tarea (para humanos) Modelo Fecha de lanzamiento Horizonte temporal 1.1 Horizonte temporal 1.0 50% 80% 50% 80% GPT-2 Febrero de 2019 — — 2 segundos 0 segundos GPT-3 Mayo de 2020 — — 9 segundos 2 segundos GPT-3.5 Marzo de 2022 — — 36 segundos 10 segundos GPT-4 Marzo de 2023 4 minutos 37 segundos 5 minutos 1 minuto GPT-4 (noviembre de 2023) Noviembre de 2023 4 minutos 34 segundos 9 minutos 1 minuto Claude 3 Opus Marzo de 2024 4 minutos 29 segundos 6 minutos 1 minuto GPT-4 Turbo Abril de 2024 3 minutos 37 segundos 7 minutos 2 minutos GPT-4o Mayo de 2024 6 minutos 57 segundos 9 minutos 2 minutos Qwen2-72B Junio de 2024 — — 2 minutos 25 segundos Claude 3.5 Sonnet (antiguo) Junio de 2024 11 minutos 1 minuto 19 minutos 3 minutos Qwen2.5-72B Septiembre de 2024 — — 5 minutos 56 segundos o1-preview Septiembre de 2024 19 minutos 3 minutos 22 minutos 5 minutos Claude 3.5 Sonnet (nuevo) Octubre de 2024 20 minutos 2 minutos 30 minutos 5 minutos DeepSeek-V3 Diciembre de 2024 — — 18 minutos 4 minutos o1 Diciembre de 2024 38 minutos 6 minutos 41 minutos 6 minutos Claude 3.7 Sonnet Febrero de 2025 1 hora 10 minutos 56 minutos 15 minutos o3 Abril de 2025 2 horas 1 minuto 24 minutos 1 hora 34 minutos 21 minutos o4-mini Abril de 2025 — — 1 hora 19 minutos 16 minutos Claude Opus 4 Mayo de 2025 1 hora 41 minutos 17 minutos 1 hora 26 minutos 21 minutos DeepSeek-R1-0528 Mayo de 2025 — — 32 minutos 4 minutos Gemini 2.5 Pro Preview Junio de 2025 — — 40 minutos 9 minutos Grok 4 Julio de 2025 — — 1 hora 49 minutos 15 minutos Claude Opus 4.1 Agosto de 2025 1 hora 41 minutos 19 minutos — — GPT-5 Agosto de 2025 3 horas 34 minutos 32 minutos 2 horas 18 minutos 27 minutos gpt-oss-120b Agosto de 2025 — — 45 minutos 7 minutos Claude Sonnet 4.5 Septiembre de 2025 — — 2 horas 2 minutos 21 minutos Gemini 3 Pro Noviembre de 2025 3 horas 57 minutos 43 minutos — — Claude Opus 4.5 Noviembre de 2025 5 horas 20 minutos 42 minutos 4 horas 49 minutos 27 minutos GPT-5.1-Codex-Max Noviembre de 2025 3 horas 57 minutos 41 minutos 2 horas 53 minutos 32 minutos Kimi K2 Thinking (inferencia vía Novita AI) Noviembre de 2025 — — 58 minutos 12 minutos GPT-5.2 (high) Diciembre de 2025 6 horas 34 minutos 55 minutos — — Claude Opus 4.6 Febrero de 2026 11 horas 59 minutos 1 hora 10 minutos — — GPT-5.3-Codex (high) Febrero de 2026 6 horas 30 minutos 47 minutos — — Gemini 3.1 Pro Marzo de 2026 5 horas 50 minutos 1 hora 30 minutos — — GPT-5.4 (xhigh) Marzo de 2026 5 horas 42 minutos 54 minutos — — Claude Mythos Abril de 2026 Probablemente al menos 16 horas 3 horas 6 minutos — — GPT-5.6 (Sol) Junio de 2026 11 horas 18 minutosDato incompleto en la fuente original; falta el valor del horizonte del 80 % y de la fila de Time Horizon 1.0.
Notas
Referencias
Enlaces externos Nota de investigación: Aclaración de las limitaciones del horizonte temporal
Categoría:Organizaciones sin ánimo de lucro