▲ Productividad con IA
¿La IA hace más lentos a los desarrolladores? Lo que midió METR y lo que corrigió en 2026.
Por César Soto · 10 min de lectura
▲ En este artículo
▲ En resumen
- En julio de 2025, un ensayo controlado de METR con 16 desarrolladores experimentados encontró que permitir herramientas de IA aumentó 19 % el tiempo para completar tareas en repositorios que ya conocían.
- En febrero de 2026, METR publicó datos de un estudio más grande (57 desarrolladores, más de 800 tareas) que apuntan a una aceleración, con intervalos de confianza que incluyen el cero, y advirtió que su propio estimado probablemente es un mal indicador del efecto real.
- Como todavía no existe una medición limpia del efecto de la IA en la productividad de los desarrolladores, lo útil para una empresa es medir la entrega de su equipo con tres indicadores: entregas por semana, tiempo de idea a producción y requerimientos que QA devuelve.
Respuesta corta: todavía no se sabe. El estudio de METR de 2025 midió 19 % más de tiempo con IA en 16 desarrolladores, y en febrero de 2026 sus autores publicaron datos nuevos que apuntan en la dirección contraria y que tampoco consideran confiables. Si tu equipo entrega más, lo puedes medir en unas semanas con el historial que ya tienes.
El 19 % sigue apareciendo en notas en español sin la actualización de febrero. Soy CTO de Simón, donde operamos la plataforma con agentes, y acompaño a otros equipos a implementar esa forma de trabajar; esto es lo que conviene saber antes de decidir algo con base en el estudio.
¿Qué midió METR en 2025?
METR midió cuánto tardaban 16 desarrolladores experimentados de proyectos open source en resolver 246 tareas reales de sus propios repositorios, con y sin IA. Cada tarea se asignaba al azar a una de las dos condiciones, y con IA usaron sobre todo Cursor Pro con Claude 3.5 y 3.7 Sonnet. Con la IA permitida, las tareas tardaron 19 % más.
El dato que más se comentó fue la percepción. Antes de empezar, los desarrolladores esperaban que la IA les recortara 24 % del tiempo, y al terminar creían que se los había recortado en 20 %. Economistas y expertos en machine learning habían pronosticado recortes de 39 % y 38 %.
El alcance era acotado desde el diseño: personas con unos cinco años en proyectos maduros que conocían bien, usando la IA de inicios de 2025.
¿Qué corrigió METR en febrero de 2026?
El 24 de febrero de 2026, METR publicó que cambiaba el diseño de su experimento porque los datos nuevos ya no eran una señal confiable. Ese segundo estudio arrancó en agosto de 2025 con 57 desarrolladores, 143 repositorios y más de 800 tareas.
Hay dos estimaciones. Para los 10 desarrolladores que repitieron del estudio original, la IA redujo el tiempo en 18 %, con un intervalo de confianza que va de 38 % menos a 9 % más. Para los 47 nuevos, la reducción fue de 4 %, con un intervalo de 15 % menos a 9 % más.
El problema que reporta METR es de selección. Entre 30 % y 50 % de los participantes dijeron que dejaron de enviar algunas tareas porque no querían hacerlas sin IA. El pago por hora también bajó, de USD 150 a USD 50.
Por eso METR escribió que su estimado central es "likely a bad proxy for the real productivity impact of AI tools on these developers", es decir, probablemente un mal indicador del impacto real. Agregó que el efecto verdadero podría ser mayor, porque la selección deja fuera justo las tareas que más dependen de la IA.
| Estudio de 2025 | Actualización de 2026 | |
|---|---|---|
| Muestra | 16 desarrolladores, 246 tareas | 57 desarrolladores, 143 repositorios, más de 800 tareas |
| Efecto en el tiempo | +19 % (intervalo de +2 % a +39 %) | −18 % en quienes repitieron (de −38 % a +9 %); −4 % en los nuevos (de −15 % a +9 %) |
| Lectura de METR | La IA los hizo más lentos en ese contexto | Señal poco confiable; rediseñan el estudio |
Los dos intervalos de 2026 cruzan el cero
Cambio en el tiempo de la tarea al usar IA. Punto: estimación central. Barra: intervalo de confianza del 95 %.
Por qué METR desconfía de 2026
- Quienes no aceptaban trabajar sin IA dejaron de participar.
- Entre 30 y 50 % retuvo tareas que no quería hacer sin IA.
- El pago bajó de USD 150 a 50 por hora.
Lo que sí se puede leer
- Con los datos de 2026, la dirección del efecto no está clara.
- METR llama a su estimado «likely a bad proxy» y rediseña el estudio.
- Ningún número de un estudio sustituye medir a tu propio equipo.
Entonces, ¿la IA hace más rápidos o más lentos a los desarrolladores?
Con lo publicado hasta noviembre de 2026, nadie puede responder eso con una cifra limpia. Los reportes de la industria tampoco lo resuelven, porque cada uno mide otra cosa y con su propio sesgo:
- LeadDev encuestó a 617 líderes de ingeniería en marzo de 2025: solo 6 % reportó un aumento significativo de productividad. Mide la percepción de esos líderes.
- DORA 2025 (Google Cloud, casi 5,000 profesionales) encontró que 90 % usa IA en el trabajo y que la adopción se relaciona con más throughput de entrega y con menos estabilidad.
- Faros AI, con telemetría de 22,000 desarrolladores, reporta que la mediana del tiempo en revisión subió 441.5 % en equipos con alta adopción. Faros vende una plataforma de medición, así que es un dato de proveedor.
DORA concluye que la IA amplifica lo que el equipo ya tenía, y coincido con esa lectura.
Qué mide cada estudio antes de citarlo
Ninguno mide lo que paga un CEO: cuánto llega a producción y con qué calidad.
¿Por qué un estudio de tiempo por tarea no responde la pregunta de un CEO?
Porque METR mide cuánto tarda una persona en cerrar una tarea, y entre esa tarea y producción están la revisión del PR, las decisiones de producto pendientes, QA y el release. Ahí se atora el trabajo cuando el código sale más rápido.
Hoy en Simón salen 2 a 3 lanzamientos por semana en una plataforma B2B operada con agentes, sin contratar más desarrolladores. Para llegar ahí trabajamos sobre todo alrededor del código: specs en el repo que el agente lee para decidir, revisores automáticos en cada PR, puntos de control humanos donde el riesgo lo pide y bugs que regresan al flujo como PR.
Un caso concreto: QA nos devolvía requerimientos incompletos, que no cumplían todos sus criterios de aceptación. Agregué un agente que lee esos criterios en cada PR y busca la evidencia de cada uno, y las devoluciones bajaron prácticamente a cero. Un estudio de tiempo por tarea no habría registrado ese cambio, porque el ahorro aparece después del PR, en el retrabajo que QA ya no tiene que devolver.
Lo explico con más detalle en qué es un harness y en el método de PeakSyn.
¿Qué medir en tu equipo en lugar de esperar el próximo estudio?
Mide la entrega del equipo con tres indicadores que salen del historial que ya tienes: entregas por semana, tiempo de idea a producción y requerimientos que QA devuelve. Son los que uso con los equipos que acompaño, y ninguno exige comprar una herramienta.
| Indicador | Qué cuenta | De dónde sale | Error común |
|---|---|---|---|
| Entregas por semana | Cambios que llegan a producción y que un usuario puede usar | Release notes, tags de versión o la columna "en producción" del tablero | Contar PRs o deploys, que suben con la IA aunque el usuario no reciba nada nuevo |
| Tiempo de idea a producción | Mediana de días desde que un requerimiento está listo para construirse hasta que llega a producción | Fechas del tracker (Linear, Jira) y del deploy | Empezar a contar cuando alguien abre el editor, lo que deja fuera la espera de decisiones |
| Requerimientos que QA devuelve | Porcentaje de requerimientos que QA regresa por no cumplir sus criterios de aceptación | Cambios de estado en el tracker | Resolver la devolución en un chat, donde nunca queda registrada |
Dejé fuera las líneas de código, los PRs abiertos y el porcentaje de código escrito por IA porque miden uso. Faros reportó en 2025 casi el doble de PRs fusionados en equipos con alta adopción, y ese número por sí solo no dice si algún cliente recibió algo nuevo.
Tres números que salen de tus propias herramientas
Se sacan del tracker y del historial de deploys en una tarde. Se leen como tendencia de 4 a 6 semanas.
Entregas por semana
QUÉ CUENTACambios que llegaron a usuarios, según una definición escrita
DE DÓNDE SALEHistorial de deploys o releases
CÓMO LEERLOLa tendencia, nunca una semana suelta
Idea → producción
QUÉ CUENTATiempo desde que se aprueba el requerimiento hasta que está en producción
DE DÓNDE SALEFechas de cambio de estado en el tracker y deploys
CÓMO LEERLOSi sube, busca dónde espera el trabajo
Devoluciones de QA
QUÉ CUENTARequerimientos que QA regresa por no cumplir sus criterios
DE DÓNDE SALETracker: tareas que vuelven a desarrollo
CÓMO LEERLODebe bajar cuando un revisor verifica criterios
- 1Línea base de las últimas 8 semanas
- 2Qué cuenta como entrega, por escrito
- 3Cada cambio de proceso con su fecha
- 4Revisión semanal con CEO y tech lead
- 5Siempre a nivel equipo, nunca persona
¿Cómo empiezo a medir esta semana?
Saca la línea base con lo que ya está en tus herramientas y revisa los tres números cada semana durante un mes y medio.
- Saca la línea base de las últimas 8 semanas. El tracker y el historial de deploys ya tienen las fechas.
- Define por escrito qué cuenta como entrega. Una línea en el repo evita que el número cambie según quién lo saque.
- Anota cada cambio de proceso con su fecha. Si agregas un revisor automático o cambias quién aprueba un PR, después podrás leer la curva.
- Revisa los números cada semana con el CEO y el tech lead. Diez minutos alcanzan; lo útil es la tendencia de cuatro a seis semanas.
- Mantén los indicadores a nivel equipo. Si se usan para calificar a una persona, el número se empieza a maquillar.
¿Qué responder cuando alguien cita el 19 %?
Reconoce que el estudio es serio y cuenta lo que pasó en febrero de 2026, cuando sus autores publicaron datos que apuntan en otra dirección y que tampoco consideran confiables. Después, lleva la conversación a los tres números de tu equipo.
Yo me quedo con el hallazgo de la percepción. Si 16 desarrolladores con experiencia creían ir más rápido mientras tardaban más, cualquier equipo puede estar igual sin saberlo. Desconfío del 19 % cuando se usa para frenar la adopción y del "10x" que se promete sin línea base, porque ninguno de los dos sale de medir a un equipo concreto.
Si quieres revisar cómo sacar la línea base de tu equipo y qué movería esos tres números, agenda una conversación de 30 minutos. Sales con un siguiente paso claro, conmigo o sin mí.
Preguntas frecuentes
¿El estudio de METR demuestra que la IA hace más lentos a todos los desarrolladores?
No. Midió a 16 desarrolladores experimentados de proyectos open source, en repositorios que conocían desde hacía años y con herramientas de inicios de 2025. En ese contexto, con IA tardaron 19 % más. Llevar ese resultado a un equipo de producto con otras herramientas y otro código va más allá de lo que el estudio mide.
¿METR se retractó del estudio de 2025?
No usó esa palabra. El 24 de febrero de 2026 publicó datos de un estudio más grande, explicó por qué ya no los considera una señal confiable (desarrolladores que retiraban tareas que no querían hacer sin IA) y anunció que cambia el diseño del experimento. El artículo de 2025 sigue publicado en arXiv.
¿Qué significa que el intervalo de confianza incluya el cero?
Que los datos son compatibles con que la IA acelere, frene o no cambie el tiempo de una tarea. En la actualización de 2026, los intervalos van de 38 % menos a 9 % más de tiempo y de 15 % menos a 9 % más, así que el estudio no puede afirmar la dirección del efecto.
¿Cuánto tarda en notarse si la IA mejoró la entrega de un equipo?
Con una línea base de las últimas 8 semanas, cuatro a seis semanas de medición semanal suelen dar una tendencia legible en los tres indicadores. Menos tiempo se confunde con la variación normal de un ciclo de trabajo.
¿Por qué no medir el porcentaje de código escrito por IA?
Porque mide cuánto se usa la herramienta. Un equipo puede generar con IA la mayor parte de su código y entregar lo mismo si la revisión, las decisiones o QA siguen siendo el cuello de botella. Los indicadores de entrega muestran si algo llegó al cliente.
Referencias
- Joel Becker, Nate Rush, Elizabeth Barnes y David Rein, «Measuring the Impact of Early-2025 AI on Experienced Open-Source Developer Productivity», arXiv:2507.09089, julio de 2025
- Joel Becker, Nate Rush, Tom Cunningham, David Rein y Khalid Mahamud, «We are Changing our Developer Productivity Experiment Design», METR, 24 de febrero de 2026
- LeadDev, «AI coding assistants aren't really making devs feel more productive», 11 de junio de 2025
- Google Cloud, «Announcing the 2025 DORA Report»
- Faros AI, «AI Acceleration Whiplash», 12 de abril de 2026 (telemetría de proveedor)
- Faros AI, «The AI Productivity Paradox Report 2025», julio de 2025 (telemetría de proveedor)
- César Soto, «Qué es un harness y cómo hace confiable a un agente de IA», PeakSyn, octubre de 2026
- PeakSyn, «El método v2026.09»
¿Quieres aplicarlo en tu equipo? Hablemos 30 minutos.
Sin costo, en video, con César Soto.
Agenda una conversación