El benchmark que mide cuánto hay que corregir a un agente

Meta publicó SWE-Together como herramienta de evaluación de código abierto: 109 tareas que reproducen sesiones reales de ingeniería de software, donde el agente debe mantener contexto, responder a retroalimentación parcial y corregir rumbo a lo largo de múltiples intercambios. El hallazgo central: Claude Opus 4.8 completa 63% de los flujos multi-turno sin intervención humana y requiere la menor cantidad de redirecciones de todos los modelos evaluados. **La métrica que importa en producción** Los benchmarks de un solo prompt miden capacidad bruta de generación de código. SWE-Together mide algo distinto y más cercano a la realidad operativa: la carga de supervisión que un agente impone al humano que trabaja con él. Una sesión real de ingeniería es un diálogo de muchos turnos, con requisitos que cambian y salidas parciales que exigen adaptación. El pass@1 multi-turno captura cuántas veces el agente termina el flujo completo sin que alguien tenga que entrar a rescatarlo. **Qué significa para quien adopta agentes** El criterio al evaluar un agente para tu operación es cuántas veces habrá que redirigirlo por tarea. Ahí vive el costo real de la autonomía: cada intervención humana es tiempo de un profesional senior que el agente prometía liberar. Un agente con 63% de autonomía completa transforma la economía de un equipo; uno que exige corrección constante solo reordena el trabajo. Tres implicaciones prácticas para organizaciones de la región: 1. **Exigir métricas multi-turno a los proveedores.** El puntaje de benchmark tradicional predice mal el desempeño en flujos reales. Pedir evidencia de carga de supervisión por tarea completada. 2. **Instrumentar los pilotos.** Registrar cuántas intervenciones requiere cada flujo agéntico durante la prueba. Ese dato, y su tendencia en el tiempo, decide si el caso de negocio cierra. 3. **Diseñar el rol del supervisor.** La autonomía parcial define un nuevo puesto de trabajo: el profesional que dirige varios agentes en paralelo. Su productividad depende de cuánta corrección demanda cada uno. El movimiento de Meta valida una tendencia de fondo: la industria pasó de competir por generar código impresionante a competir por confiabilidad autónoma sostenida. Para quien construye con agentes, esa es la variable de compra. *Fuente: Meta, benchmark SWE-Together (código abierto), 6 de julio de 2026.*