Cognition publicó el 22 de septiembre que expande Devin a Latinoamérica desde São Paulo, con un evento en el MASP delante de líderes de grandes empresas y gobiernos. Cita tres bancos: Itaú, Nubank y Santander. Y da cifras. Según Cognition, más del 75% de los equipos de tecnología de Itaú usan Devin, y en Nubank una migración de un monolito de varios millones de líneas pasó de años a semanas, a más de 20 veces menos costo.

Son números de la empresa que vende el producto, y así hay que leerlos. Aun así, es lo más concreto que hay publicado sobre cómo entra un agente de código a un banco regulado de la región.

Circula en LinkedIn que Nubank acaba de firmar con Cognition y que el equipo viajó a Brasil a cerrar el trato. No encontré eso en ninguna fuente primaria. Lo publicado es otra cosa: Nubank ya figuraba como cliente en un caso de estudio de Devin, y lo que Cognition abrió en septiembre es oficina local. Ahí hay material.

Lo que muestra el caso de Nubank

Nubank tenía que partir un monolito de ETL de más de 6 millones de líneas en submódulos. Según el caso, eran más de 1.000 ingenieros moviendo unas 100.000 implementaciones, en un plazo esperado de 18 meses. Cuidado con ese número: es el estimado de esa migración, no el tiempo que tarda un banco en adoptar software.

Lo que me interesa es cómo lo hicieron, porque se parece poco a “instalar una herramienta”.

Primero eligieron un trabajo repetitivo, con muchas variantes pero sin misterio. Después juntaron ejemplos de migraciones que sus ingenieros ya habían hecho a mano y usaron una parte para ajustar a Devin y el resto como conjunto de prueba (evals). Según el caso, el ajuste duplicó los puntajes de la tarea y bajó el tiempo por subtarea de unos 40 minutos a 10.

Y siempre hubo una persona en el medio. Un ingeniero citado en el caso lo resume así: en lugar de completar toda la tarea a mano, “they could just review Devin’s changes, make minor adjustments, then merge their PR” (podían revisar los cambios de Devin, ajustar un poco y mergear su PR).

Dónde corre, la pregunta de seguridad

En un banco, la primera pregunta es dónde corre el agente y qué ve. Qué tan bien programa viene después. Cognition lista tres opciones: SaaS compartido en su nube, SaaS dedicado de un solo inquilino con conexión privada a la nube del cliente, o Devin dentro de la nube privada virtual (VPC) del propio cliente, con los datos en su cuenta. Declara SOC 2 Tipo II, ISO 27001, registros de auditoría, controles de acceso finos y que no entrena con datos del cliente.

Lo que no sé, y no está publicado, es cuánto tardó la revisión de seguridad en Nubank o en Itaú, ni quién la firmó. Cualquier relato de ese proceso que no venga de ellos es imaginación.

Por qué importa tener gente en persona

Cognition dice que contrata en Latinoamérica “a team of deployed engineers to embed with customers” (un equipo de ingenieros desplegados que se integren con los clientes). No explica por qué. Mi lectura, y es una lectura: los pasos de arriba (elegir el trabajo, juntar ejemplos humanos, definir quién aprueba, decidir dónde corre) requieren estar en la sala con el equipo que conoce el código. Eso no se resuelve con una demostración.

Para empresas centroamericanas

No necesitas 140 millones de clientes para aplicar el orden. Una empresa mediana con un sistema viejo puede seguirlo igual.

1. Elige un trabajo repetitivo y medible. Actualizar versiones de un lenguaje, o corregir las vulnerabilidades que ya te reporta tu escáner.
2. Arma la prueba con trabajo humano previo, antes de dar acceso a nada.
3. Define quién aprueba cada cambio, y que sea una persona con nombre.
4. Decide dónde corre el agente según qué código toca. Pregunta por la opción dentro de tu propia nube.
5. Pregunta quién del proveedor puede sentarse con tu equipo, y en qué huso horario.

Nada de esto lo resuelve el agente. Es trabajo previo, y es donde ayudamos. La auditoría de software mira cómo se revisa, se prueba y se despliega el código hoy, que es lo que un agente va a heredar. Ya escribí sobre por qué la revisión de código no puede seguir con procesos de 2020. Y si la duda es qué procesos conviene automatizar primero, AI Maestro termina en una decisión Go o No-Go antes de invertir en nada.

Si tienes un sistema viejo y una lista de cosas repetitivas que nadie quiere hacer, empieza por escribir esa lista con un ejemplo hecho a mano de cada una.

Revisa cómo se revisa tu código antes de dárselo a un agente