Jev salió a mediados de septiembre. El 1 de octubre, unas dos semanas después, Cloudflare publicó Clef: un modelo del mismo tipo, con pesos abiertos y una API que según ellos es compatible con la de Jev.

Si el mes pasado elegiste Jev para clasificar tickets o enrutar consultas, ya tienes una alternativa. No te digo que cambies. Te digo que mires cuánto te costaría cambiar, porque eso es lo que esta semana dejó a la vista.

Esta es la continuación de lo que conté en el post sobre Jev.

Cómo funciona Clef

Clef toma un modelo Qwen congelado (Qwen3.8-27B para Clef, Qwen3.5-9B para Clef-flash) y le agrega adaptadores livianos. Según el post de Cloudflare, hace una sola pasada de lectura (prefill) y luego una pequeña capa de esquema puntúa todas las respuestas válidas al mismo tiempo. No genera ni un token de texto.

Es el examen de opción múltiple otra vez. No le pides que redacte, le pides que marque la casilla y diga qué tan seguro está.

Lo que midió Cloudflare, y quién lo midió

Las cifras vienen del propio Cloudflare, corridas sobre el Jev Decision Index, un conjunto de pruebas que creó TypeSafe. Sobre 43 pruebas, la mediana de decisión fue de 209,3 ms para Clef y 38,8 ms para Clef-flash, frente a 524,1 ms de Jev. Eso es unas 2,5 veces y unas 13 veces más rápido.

En precisión, Clef llegó a 94,20% en BANKING77 contra 79,74% de Jev. Clef-flash tuvo 98,76% en BFCL contra 95,75%. Pero en When2Call ganó Jev, 80,97% contra 72,37%.

The Register agrega tres datos que el comunicado no destaca. Cloudflare reconoce que Jev gana en observabilidad de trazas de agentes. Clef cuesta $0,24 por millón de tokens frente a $0,042 de Jev. Y los pesos son abiertos, pero Cloudflare confirmó que los datos de entrenamiento no son públicos.

Nadie ganó entero. Cuál te sirve depende de tu tarea, y para saberlo hay que medir con tus datos.

El cambio puede ser una línea

Mira el caso de pg-jev, la extensión de Postgres que convierte a Jev en funciones de SQL: jev(), jev_prob(), jev_choice() y jev_score(). La dirección del servicio es un parámetro de configuración, jev.api_url, que por defecto apunta a TypeSafe. El propio README advierte que el contenido de las filas se envía a una API de terceros.

Cloudflare dice que Clef es “fully API-compatible” (totalmente compatible con la API), “so you can make the swap extremely easily” (para que el cambio sea muy fácil). En teoría, apuntar ese parámetro a un servidor Clef sería todo el trabajo técnico. No lo he probado, así que tómalo como lectura mía y no como resultado.

Ese es el diseño que quieres: el proveedor como un valor de configuración.

Compatible no es lo mismo que idéntico

Hay un problema, y es inferencia mía. Si tu código escala un caso a una persona cuando la confianza baja de 0,7, ese 0,7 se calibró con las probabilidades de Jev. Otro modelo puede dar 0,7 a casos que Jev daba 0,5. Mismo formato, otra escala.

Por eso la API compatible resuelve la mitad del cambio. La otra mitad es revalidar.

Qué fijar de tu lado

Tres cosas, y ninguna depende de qué modelo elijas.

Primero, el contrato. Define en tu código el tipo de lo que esperas: una opción de una lista cerrada y una probabilidad. El proveedor se esconde detrás de una sola función.

type Decision<T extends string> = { choice: T; probs: Record<T, number> };

interface Decider {
  decide<T extends string>(state: string, question: string, options: T[]): Promise<Decision<T>>;
}

Segundo, los casos de prueba. Un conjunto de casos reales de tu operación con la respuesta correcta ya conocida, de los que escribió tu gente de operaciones y no el proveedor. Con eso, comparar Jev, Clef-flash y el que salga el mes próximo toma una tarde. Sin eso, toma un debate.

Tercero, los umbrales. Se guardan como configuración por modelo y se recalibran cada vez que cambias. Nunca viven dentro del código.

Si tu arquitectura de IA no tiene estas tres piezas, el modelo que elegiste en septiembre ya es parte de tu sistema, no un componente de él. En una revisión de arquitectura empresarial esa sería mi primera prueba: cambiar el modelo en un entorno de prueba y ver cuánto se rompe.

Mide cuánto te costaría cambiar de modelo