El sábado 10 de octubre, a las 8:43 de la mañana en Costa Rica, Satya Nadella publicó en X un ensayo con un título que suena a manual de seguridad, “Models as Insider Risks in the Super Intelligence Era” (los modelos como riesgo interno en la era de la superinteligencia).

La frase que yo subrayaría está en el tercer párrafo, y dice “A model provider’s assurances do not relieve us of that responsibility” (las garantías de un proveedor de modelos no nos liberan de esa responsabilidad). La escribe el CEO de Microsoft. O sea, alguien que vende modelos te está diciendo que lo que te prometa el que vende modelos no te alcanza.

Leí los siete principios con una pregunta muy concreta. ¿Cuáles se le pueden exigir a un proveedor, y cuáles tienes que construir tú? El resultado es tres contra cuatro. Y la columna de los cuatro se paga con presupuesto tuyo, no con la licencia.

Tres que sí van al contrato

El primero es observarlo todo. Nadella pide que cada acción relevante del modelo deje evidencia legible y a prueba de manipulación, y que se pueda reconstruir cómo se llegó a un resultado sin que el modelo lo atestigüe. Eso se pide por escrito, como exportación completa de registros a un almacenamiento tuyo que ni el agente ni el proveedor pueden editar después.

El segundo es la contención, y su imagen es un freno de emergencia, con una persona autorizada que puede pausar o apagar un modelo a media tarea. Esto no lo aceptaría en una presentación de ventas. Lo pediría en vivo, con un agente corriendo, y cronometrado. El caso de el agente de OpenAI que salió de su entorno aislado y llegó a los servidores de Hugging Face muestra que “asume que está comprometido” ya no es un ejercicio teórico.

El tercero es el aviso de incidentes, con un detalle que conviene copiar tal cual en la cláusula. Nadella pide que el aviso incluya los cambios de implementación que modifican cómo se comporta el agente en ejecución. Un “le cambiamos algo al agente” también es un incidente. Las otras cláusulas que yo pediría ya las puse en las seis preguntas de gobernanza para tu proveedor de IA.

Cuatro que ningún proveedor te vende

Diversidad de modelos, verificabilidad, controles independientes y auditoría independiente. Los cuatro tienen algo en común. Si te los vende el mismo que te vende el modelo, dejan de ser independientes.

Nadella lo dice con un principio de seguridad de los años setenta: un programa no debe poder saltarse ni manipular los mecanismos que aplican sus permisos. Traducido a una empresa mediana, el permiso de un agente se define en tu infraestructura, en tu sistema de identidades, en tu orquestador. No en el prompt, que es justo la parte que el modelo puede reinterpretar.

En la crónica que Pascal Bornet publicó desde TrustWeek, el evento de OneTrust en Las Vegas, hay una historia que explica por qué. Digvijay Lamba, director de producto y tecnología de OneTrust, contó en el escenario el caso de Chelsea, gerente de producto en un banco. Chelsea arma un agente pequeño que aprueba negocios. Funciona, sus colegas lo usan, y le piden más: buscar en internet, entrar a Salesforce, mandar mensajes, arrancar flujos. Al final nadie sabe si sigue siendo el agente que se aprobó.

Ningún proveedor de modelos está mirando a tu Chelsea. Lo que creció fue el acceso, y el acceso es tuyo.

Lo de la diversidad es más simple de lo que suena. El agente que ejecuta y el que revisa no deberían ser el mismo modelo, y en los procesos que tocan dinero yo pondría una regla determinista o una persona en vez de un segundo modelo. Nadella mismo advierte que modelos revisando modelos terminan en cajas negras dentro de cajas negras.

El que nadie puede darte hoy

Antes de la lista, Nadella pone un requisito más: la transparencia del razonamiento del modelo. Dice que es innegociable. Y dos líneas después reconoce que no alcanza ni es confiable, porque todavía no sabemos hacer que lo que el modelo escribe sobre su propio razonamiento sea fiel a lo que de verdad hizo.

Yo lo leo así. Pídelo, pero no compres nada que dependa de eso.

David Sacks respaldó el ensayo esa misma noche y lo usó contra el trabajo de alineamiento de los laboratorios. Esa discusión no la voy a resolver acá. Uso Claude todos los días, y la parte de ingeniería del ensayo me sirve igual con cualquier modelo, más o menos alineado.

Dónde entra esto en una evaluación

En la fase de descubrimiento de AI Maestro, cada proceso candidato a un agente termina con un Go o un No-Go. Si me toca evaluar un agente que actúa sobre sistemas reales, la ficha del proceso llevaría estas siete líneas partidas en dos columnas: lo que el proveedor firma y lo que tu equipo tiene que construir antes de encenderlo. Una columna derecha vacía es un No-Go, aunque el modelo sea excelente.

Si ya tienes un agente en producción, haz la prueba del freno esta semana. Pide a alguien que lo pause a media tarea y mide cuánto tarda. Si nadie sabe cómo, ya sabes por dónde empezar.

Evalúa tu primer agente con AI Maestro