Coinbase afinó un modelo abierto de 9.000 millones de parámetros y en su benchmark de fraude superó a Opus 4.5 en las cuatro métricas de detección. El entrenamiento costó menos de 100 dólares. Si eres CTO, esa cifra es la que va a aparecer en tu próxima reunión de presupuesto, y es la que menos explica el resultado.

Lo que sí lo explica son cuatro condiciones que Coinbase tenía: una decisión estrecha, resultados etiquetados propios, una prueba que controla y presupuesto para mantener el modelo. Sin las cuatro, afinar es un experimento caro. Ya conté cómo lo hizo Bridgewater con documentos financieros. Coinbase agrega lo que ese caso no mostraba: la prueba, el baseline y el costo de operar.

Qué midió Coinbase y qué no

La fuente primaria es la serie Owning Intelligence, tres partes publicadas del 6 al 8 de octubre. La tercera la firman ingenieros de Coinbase junto con el equipo de Anyscale, la plataforma donde entrenaron y sirven el modelo. Tenlo presente al leer los resultados.

La tarea es clasificar el riesgo de una transacción de Onramp (compra de cripto dentro de apps de socios) a partir de su comportamiento reciente. Parten de Qwen3.5-9B y lo entrenan con reinforcement learning contra fraudes históricos conocidos, con una recompensa determinista y sin otro modelo de juez. Una GPU RTX PRO 6000 de 96 GB.

La prueba tiene 16.140 transacciones de 7.293 usuarios, tomadas de nueve semanas de producción anteriores al despliegue del agente, con 813 fraudes confirmados. Frente a Opus 4.5, el modelo afinado sumó 7,5 puntos de precisión, 12,0 de recall, 9,6 de F1 y 35,4 de recall ponderado por valor en dólares. El pie de la figura aclara que son diferencias en puntos porcentuales, no mejoras relativas. En producción, la latencia mediana bajó de 1,515 a 0,683 segundos (55%).

Lo que falta. Los F1 absolutos solo están en un gráfico. Hay un único baseline, Opus 4.5. La detección y la latencia se midieron en evaluaciones separadas. Y en las tres partes no encontré una comparación contra un clasificador convencional entrenado con las mismas etiquetas. El resumen de Hasanain Manesia en LinkedIn habla de “legacy frontier models” en plural. Coinbase comparó con uno.

Por qué el baseline aguanta

Varios comentarios en ese post dudan de que Opus 4.5 sea un modelo frontier. La Parte 2 de Coinbase responde con datos propios. Probaron Opus 5 en el mismo benchmark y salió peor que 4.5 en todas las métricas. Sonnet 5 perdió 22,2 puntos de recall frente a Sonnet 4.6. GPT-5.6 (sol) ganó 11,5 puntos de precisión y perdió 20,7 de recall.

Si el montaje fue el mismo, el modelo afinado también supera a Opus 5. La serie lo sugiere pero no lo afirma, así que es inferencia mía.

Lo que me importa es otra cosa. Sin ese benchmark, Coinbase no habría sabido que un cambio de versión empeoraba su detección. La prueba fue el activo, el modelo vino después. Ya argumenté que el benchmark que solo tú escribes es la ventaja que no caduca.

El costo que no está en los 100 dólares

Un comentarista lo dijo corto: mantener y actualizar el modelo pasa a ser tu responsabilidad permanente. Coinbase está de acuerdo. En su texto: “maintaining quality requires continued evaluation and retraining” (mantener la calidad exige evaluación y reentrenamiento continuos). Piden versionar juntos pesos, prompts y política de decisión, con un camino de reversa probado.

Fuera de los 100 dólares quedan el benchmark, las etiquetas, el servidor (GPU L40S con entre 2 y 8 réplicas) y las personas que lo vigilan.

Cuándo no afinar

Cuando no hay una decisión que puedas puntuar. Cuando no sabes cómo terminó cada caso. Y cuando un clasificador clásico alcanza: otro comentarista lo planteó, y el autor del post le respondió que en este caso un modelo de clasificación sería más adecuado.

Con las cifras de proveedores, igual. El post de Steve Nouri sobre Nemotron 3.5 Super VL lleva la etiqueta #nvidiapartner. En el blog de NVIDIA las mejoras de 9% a 44% en cinco tareas vienen de socios, y el ahorro de 40x en costo de Skydance está escrito en futuro (“will decrease”). VentureBeat anota que NVIDIA no entregó definiciones de tareas, tamaños de muestra ni protocolo, y que son versiones distintas por tarea, no una victoria general del modelo base. Ese modelo base marca 26 en el índice de Artificial Analysis, por debajo de GLM-5.3-Flash (42) y Qwen3.8-Flash-Next (40).

Qué hacemos en IQ Source

Yo no afinaría nada antes de tener la prueba. En el discovery de AI Maestro empezamos por ahí. Elegimos la decisión, armamos el conjunto de casos con resultados conocidos y medimos al modelo frontier con el mejor prompt. Si ya pasa el umbral, no hay nada que construir. Si no pasa, preguntamos si se cumplen las cuatro condiciones antes de hablar de entrenar.

Si tu equipo repite una decisión todos los días y sabes cómo terminó cada caso, ahí está el material. Ese conjunto de casos sirve igual para elegir entre modelos, y puede ser lo primero que valga la pena construir.